AI ACT – Det skal du leve op til

Høj Risiko = Skærpede krav

Høj Risiko AI-systemer er dem, der skal leve op til de mest markante krav under EU’s AI ACT. Her stiller man bl.a. krav til, at man skal have følgende klar:

1. Teknisk beskrivelse
2. Risikovurdering
3. Logning
4. Kvalitetssystem
5. Overensstemmelseserklæring
6. Fejlproces

I nedenstående har vi samlet de væsentligste ting, som ovenstående skal indeholde.

1. Teknisk beskrivelse

Først og fremmest skal man udarbejde en teknisk beskrivelse af AI-systemet, der som minimum skal indeholde følgende overordnede punkter:

• Beskrivelse af systemets formål, udbyderens navn og systemversion
• Dokumentation for, hvordan AI-systemet interagerer eller kan interagere med hardware og software- herunder andre AI-systemer
• Versioner af relevant software eller firmware inklusiv evt. krav til versionsopdateringer
• Beskrivelse af alle de måder systemet kan tages i brug på (f.eks. softwarepakke indlejret i hardware, downloadbar, API osv.)
• Beskrivelse af den hardware, som AI-systemet er beregnet til at køre på
• Hvis AI’en er en del af et produkt, skal man gennem f.eks. billeder eller illustrationer vise, hvordan den er en del af dette produkt.
• Der skal også vedlægges af grundlæggende beskrivelse af brugergrænsefladen samt evt. af den brugsanvisning, der bliver sendt til brugerne

Den tekniske beskrivelse skal også indeholde følgende dokumentation omkring udviklingen af AI-systemet:

• Hvilke udviklingsmetoder og -trin er der brugt, og om der i forbindelse med træning af modellen er brugt systemer eller værktøjer fra tredjepart – og hvordan disse er blevet brugt, integreret eller modificeret af udbyderen
• Dokumentation for designspecifikationerne (den generelle logik bag AI-systemet og algoritmerne). Det betyder, at man skal kunne begrunde de centrale designvalg, herunder begrundelsen for, at man vil målrette løsningen til specifikke personer eller persongrupper, ligesom man skal kunne redegøre for de vigtigste valg vedrørende klassificering, hvad systemet er designet til at optimere for, og relevansen af de forskellige parametre. Der skal også være en beskrivelse af den forventede output og outputkvalitet for systemet
• Beskrivelse af systemarkitekturen, der forklarer, hvordan softwarekomponenter bygger på eller føder ind i hinanden og integreres i den overordnede behandling. De beregningsressourcer, der bruges til at udvikle, træne, teste og validere AI-systemet
• Hvis det er relevant også en beskrivelse af træningsmetoder og -teknikker samt de anvendte træningsdatasæt, herunder en generel beskrivelse af disse datasæt, oplysninger om deres oprindelse, omfang og hovedkarakteristika samt hvordan dataene blev opnået og udvalgt; mærknings procedurer (f.eks. til overvåget læring), datarensningsmetoder (f.eks. detektion af outliers)
• Vurdering af om det er nødvendigt med menneskelige tilsynsforanstaltninger
• Hvor det er relevant, at vedlægge en detaljeret beskrivelse af forudbestemte ændringer af AI-systemet og dets ydeevne
• Dokumentation for de anvendte validerings- og testprocedurer, herunder oplysninger om de validerings- og testdata og deres hovedkarakteristika der benyttes (f.eks. hvordan man måler nøjagtighed, robusthed samt potentielt diskriminerende virkninger; testlogfiler og alle testrapporter dateret og underskrevet af de ansvarlige personer)
• Beskrivelse af implementerede cybersikkerhedsforanstaltninger

I forhold til den daglige drift, skal den tekniske beskrivelse også indeholde følgende vurderinger:

• AI-systemets kapacitet og begrænsninger i forhold til ydeevne. Dette inkluderer nøjagtighedsgrader for specifikke personer eller persongrupper, som systemet er tiltænkt at blive brugt på, og det generelt forventede nøjagtighedsniveau i forhold til dets tiltænkte formål.
• De forudsigelige utilsigtede konsekvenser og risikokilder for sundhed og sikkerhed, grundlæggende rettigheder og diskrimination i forhold til AI-systemets tiltænkte formål
• De menneskelige tilsynsforanstaltninger, der er nødvendige, herunder de tekniske foranstaltninger, der er truffet for at lette udbydernes fortolkning af AI-systemernes output
• Specifikationer for inputdata, hvor det er relevant. Da den tekniske dokumentation kan være meget omfattende, har SMV’er mulighed for at udarbejde en forsimplet udgave af ovenstående. EU vil derfor på et tidspunkt offentliggøre et værktøj, der er rettet mod små og mellemstore virksomheder og som sikrer, at de har dokumentationen i orden.

2. Risikovurdering

Dernæst skal man udarbejde en risikovurdering af ens AI-system. Risikovurderingen skal som minimum indeholde følgende:

• En beskrivelse af de processer hvor AI-systemet skal bruges inkl., hvad en beskrivelse af systemets formål
• En beskrivelse af i hvilken tidsperiode og med hvilken hyppighed I forventer, at AU-systemet skal bruges
• Hvilket personer eller grupper man forventer at blive påvirket gennem brugen af AI’en
• En vurdering af hvilke potentielle skader AI-systemet kan pådrage relevante personer eller grupper
• En beskrivelse af hvordan mennesker vil føre tilsyn med systemet
• En beskrivelse af, hvilke sikkerhedsforanstaltninger man foretager sig i tilfælde af, at nogle af de potentielle risikoer indfinder sig. Dette skal inkludere, hvordan man vil håndtere hændelserne internt samt, hvordan klagemekanismerne fungerer

Når risikovurderingen af Høj Risiko AI-systemet er færdigt, skal de relevante myndigheder informeres om resultatet.

EU’s AI Office vil inden reguleringen træder i kraft, have udarbejdet en template, sandsynligvis i form af et digitalt spørgeskema, som hjælper virksomhederne med at udarbejde en risikovurdering.

3. Logning

For at sikre et sporbarheden for AI-systemets funktioner skal man logningen omfatte følgende:

• Identifikation af situationer, der kan medføre, at AI-systemet udgør en risiko
• Gennem hele systemets levetid skal man logge data, der er med til at dokumentere, at AI-systemet lever op til lovgivningen
• Overvågning af driften af AI-systemer med Høj Risiko

Benytter man sig af AI’er, der fungerer inden for biometri, kritisk infrastruktur, uddannelses- og sprogtræning, beskæftigelse og personaleledelse, adgang til og brug af væsentlige offentlige og private tjenester, retspleje, migration, asyl og grænsekontrol samt administration af retfærdighed og demokratiske processer, skal man derudover også kunne logge:

• Registrering af brugsperioden for hver systemanvendelse (startdato og -tidspunkt og slutdato og -tidspunkt for hver anvendelse)
• Den referencedatabase, som systemet har kontrolleret inputdata mod
• De inputdata, som var årsagen til en matchsøgning
• De personer, der er involveret i verifikation af resultaterne

4. kvalitetssystem

Du skal indføre et system, så du kan sikre en systematisk overholdelse af kravene i form af skriftlige politikker, procedurer og instruktioner. Kvalitetssikringssystemet skal mindst omfatte følgende:

• En strategi for, hvordan I vil overholde reglerne
• Teknikker, procedurer og systematiske handlinger i forhold til designet af AI-systemet
• Undersøgelses-, test- og valideringsprocedurer, der skal udføres før, under og efter udviklingen af højrisiko-AI-systemet, og hvor ofte de skal udføres
• Tekniske specifikationer og brug af standarder
• Systemer og procedurer for dataindsamling, dataanalyse, -mærkning, -lagring, -filtrering, -udvinding, -aggregering, -opbevaring og enhver anden operation vedrørende de data, der udføres før og med henblik på markedsføring eller ibrugtagning af højrisiko-AI-systemer
• Et system til etablering, implementering og vedligeholdelse af efterfølgende overvågning
• Procedurer for indberetning af alvorlige hændelser
• Håndtering af kommunikation med nationale myndigheder
• Systemer og procedurer til registrering af al relevant dokumentation og information
• Ressourcestyring, herunder foranstaltninger vedrørende forsyningssikkerhed
• En ansvarlighedsramme, der fastlægger ledelsens og andet personales ansvar

5. Overensstemmelseserklæring

Har man med et AI-system, der har en Høj Risiko-profil, skal systemet registreres i en officiel EU-Database.

EU’s godkendelse skal kunne fremvises i 10 år efter, at systemet gik online.

6. Fejlproces

Hvis man mener, at ens AI-system ikke lever op til kravene i EU’s AI ACT, skal man have udarbejdet processer for at rette op på dette med det samme.

Det betyder, at det skal være muligt at trække det tilbage, deaktivere det eller tilbagekalde det, alt efter hvad der er relevant.

Det skal også være muligt at underrette evt. distributører, implementeringsansvarlige og importørerne herom.

Begrænset Risiko = Krav om gennemsigtighed

Med AI ACT kommer der en række krav til gennemsigtighed, hvis ens AI-system hører under Begrænset Risiko.

Disse krav indfører man, fordi man vil sikre, at alle borgere ved, når de interagerer med en AI eller præsenteres for AI-genereret indhold.

Når man bruger AI-systemer såsom chatbots, skal mennesker f.eks. gøres opmærksomme på, at de interagerer med en maskine.

Udbydere skal også sørge for, at AI-genereret indhold kan identificeres, hvilket vil sige, at AI-genereret tekst, lyd og video skal mærkes som kunstigt genereret.

Minimal Risiko = Ingen særlige krav

Hører ens AI-system til Minimal Risiko, følger der ikke som sådan nogle krav med.

Men EU forventer på et senere tidspunkt at publicere en frivillig Code of Conduct, som virksomhederne kan underskrive og benytte sig af.