Det skal du leve op til

I EU er man blevet enige om, at der er enkelte AI-løsninger, der ikke er acceptable at bruge i EU, og derfor forbydes de. Det drejer sig om systemer, der kan skade mennesker, manipulere eller udnytte folk i sårbare situationer, og som dermed udgør en trussel mod vores grundlæggende menneskerettigheder.

Eksempler på dette kan være:

  • Systemer der anvender følsomme data som f.eks. køn, race, etnicitet, statsborgerskabsstatus, religion, politisk orientering til at kategorisere eller manipulere mennesker til at træffe beslutninger eller agere på andre måder, end de normalt ville have gjort.
  • AI-systemer til brug for masseovervågning eller som bruges til at forudsige risiko for kriminel adfærd hos individer eller grupperinger.

AI-systemer anses af EU for at være Høj Risiko, hvis de potentielt udgør en væsentlig risiko for sundhed, sikkerhed eller i forhold til borgernes fundamentale rettigheder, herunder ved væsentligt at kunne påvirke udfaldet af en beslutningstagning.

Eksempler på dette kan være:

  • AI-systemer der evaluerer berettigelse til kredit, sundhed, forsikring eller offentlige ydelser.
  • Analyser til jobansøgninger eller evaluering af kandidater.
  • Sikkerhedskomponenter.

Derudover skal et AI-system altid betragtes som højrisiko, hvis AI-systemet bruges til profilering af fysiske personer.

Er dit AI-system defineret som Høj Risiko, skal de dokumentere følgende:

Teknisk beskrivelse

Først og fremmest skal man udarbejde en teknisk beskrivelse af AI-systemet, der som minimum skal indeholde følgende overordnede punkter:

  • Beskrivelse af systemets formål, udbyderens navn og systemversion
  • Dokumentation for, hvordan AI-systemet interagerer eller kan interagere med hardware og software- herunder andre AI-systemer
  • Versioner af relevant software eller firmware inklusiv evt. krav til versionsopdateringer
  • Beskrivelse af alle de måder systemet kan tages i brug på (f.eks. softwarepakke indlejret i hardware, downloadbar, API osv.)
  • Beskrivelse af den hardware, som AI-systemet er beregnet til at køre på
  • Hvis AI’en er en del af et produkt, skal man gennem f.eks. billeder eller illustrationer vise, hvordan den er en del af dette produkt.
  • Der skal også vedlægges af grundlæggende beskrivelse af brugergrænsefladen samt evt. af den brugsanvisning, der bliver sendt til brugerne

Den tekniske beskrivelse skal også indeholde følgende dokumentation omkring udviklingen af AI-systemet:

  • Hvilke udviklingsmetoder og -trin er der brugt, og om der i forbindelse med træning af modellen er brugt systemer eller værktøjer fra tredjepart – og hvordan disse er blevet brugt, integreret eller modificeret af udbyderen
  • Dokumentation for designspecifikationerne (den generelle logik bag AI-systemet og algoritmerne). Det betyder, at man skal kunne begrunde de centrale designvalg, herunder begrundelsen for, at man vil målrette løsningen til specifikke personer eller persongrupper, ligesom man skal kunne redegøre for de vigtigste valg vedrørende klassificering, hvad systemet er designet til at optimere for, og relevansen af de forskellige parametre. Der skal også være en beskrivelse af den forventede output og outputkvalitet for systemet
  • Beskrivelse af systemarkitekturen, der forklarer, hvordan softwarekomponenter bygger på eller føder ind i hinanden og integreres i den overordnede behandling. De beregningsressourcer, der bruges til at udvikle, træne, teste og validere AI-systemet
  • Hvis det er relevant også en beskrivelse af træningsmetoder og -teknikker samt de anvendte træningsdatasæt, herunder en generel beskrivelse af disse datasæt, oplysninger om deres oprindelse, omfang og hovedkarakteristika samt hvordan dataene blev opnået og udvalgt; mærknings procedurer (f.eks. til overvåget læring), datarensningsmetoder (f.eks. detektion af outliers)
  • Vurdering af om det er nødvendigt med menneskelige tilsynsforanstaltninger
  • Hvor det er relevant, at vedlægge en detaljeret beskrivelse af forudbestemte ændringer af AI-systemet og dets ydeevne
  • Dokumentation for de anvendte validerings- og testprocedurer, herunder oplysninger om de validerings- og testdata og deres hovedkarakteristika der benyttes (f.eks. hvordan man måler nøjagtighed, robusthed samt potentielt diskriminerende virkninger; testlogfiler og alle testrapporter dateret og underskrevet af de ansvarlige personer)
  • Beskrivelse af implementerede cybersikkerhedsforanstaltninger

I forhold til den daglige drift, skal den tekniske beskrivelse indeholde følgende vurderinger:

  • AI-systemets kapacitet og begrænsninger i forhold til ydeevne. Dette inkluderer nøjagtighedsgrader for specifikke personer eller persongrupper, som systemet er tiltænkt at blive brugt på, og det generelt forventede nøjagtighedsniveau i forhold til dets tiltænkte formål.
  • De forudsigelige utilsigtede konsekvenser og risikokilder for sundhed og sikkerhed, grundlæggende rettigheder og diskrimination i forhold til AI-systemets tiltænkte formål
  • De menneskelige tilsynsforanstaltninger, der er nødvendige, herunder de tekniske foranstaltninger, der er truffet for at lette udbydernes fortolkning af AI-systemernes output
  • Specifikationer for inputdata, hvor det er relevant. Da den tekniske dokumentation kan være meget omfattende, har SMV’er mulighed for at udarbejde en forsimplet udgave af ovenstående. EU vil derfor på et tidspunkt offentliggøre et værktøj, der er rettet mod små og mellemstore virksomheder og som sikrer, at de har dokumentationen i orden.
Risikovurdering

Man skal også udarbejde en risikovurdering af ens AI-system. Risikovurderingen skal som minimum indeholde følgende:

  • En beskrivelse af de processer hvor AI-systemet skal bruges inkl., hvad en beskrivelse af systemets formål
  • En beskrivelse af i hvilken tidsperiode og med hvilken hyppighed I forventer, at AU-systemet skal bruges
  • Hvilket personer eller grupper man forventer at blive påvirket gennem brugen af AI’en
  • En vurdering af hvilke potentielle skader AI-systemet kan pådrage relevante personer eller grupper
  • En beskrivelse af hvordan mennesker vil føre tilsyn med systemet
  • En beskrivelse af, hvilke sikkerhedsforanstaltninger man foretager sig i tilfælde af, at nogle af de potentielle risikoer indfinder sig. Dette skal inkludere, hvordan man vil håndtere hændelserne internt samt, hvordan klagemekanismerne fungerer

Når risikovurderingen af Høj Risiko AI-systemet er færdigt, skal de relevante myndigheder informeres om resultatet.

EU’s AI Office vil inden reguleringen træder i kraft, have udarbejdet en template, sandsynligvis i form af et digitalt spørgeskema, som hjælper virksomhederne med at udarbejde en risikovurdering.

Logning

For at sikre et sporbarheden for AI-systemets funktioner skal man logningen omfatte følgende:

  • Identifikation af situationer, der kan medføre, at AI-systemet udgør en risiko
  • Gennem hele systemets levetid skal man logge data, der er med til at dokumentere, at AI-systemet lever op til lovgivningen
  • Overvågning af driften af AI-systemer med Høj Risiko

Benytter man sig af AI’er, der fungerer inden for biometri, kritisk infrastruktur, uddannelses- og sprogtræning, beskæftigelse og personaleledelse, adgang til og brug af væsentlige offentlige og private tjenester, retspleje, migration, asyl og grænsekontrol samt administration af retfærdighed og demokratiske processer, skal man derudover også kunne logge:

  • Registrering af brugsperioden for hver systemanvendelse (startdato og -tidspunkt og slutdato og -tidspunkt for hver anvendelse)
  • Den referencedatabase, som systemet har kontrolleret inputdata mod
  • De inputdata, som var årsagen til en matchsøgning
  • De personer, der er involveret i verifikation af resultaterne
Kvalitetssystem

Du skal indføre et system, så du kan sikre en systematisk overholdelse af kravene i form af skriftlige politikker, procedurer og instruktioner. Kvalitetssikringssystemet skal mindst omfatte følgende:

  • En strategi for, hvordan I vil overholde reglerne
  • Teknikker, procedurer og systematiske handlinger i forhold til designet af AI-systemet
  • Undersøgelses-, test- og valideringsprocedurer, der skal udføres før, under og efter udviklingen af højrisiko-AI-systemet, og hvor ofte de skal udføres
  • Tekniske specifikationer og brug af standarder
  • Systemer og procedurer for dataindsamling, dataanalyse, -mærkning, -lagring, -filtrering, -udvinding, -aggregering, -opbevaring og enhver anden operation vedrørende de data, der udføres før og med henblik på markedsføring eller ibrugtagning af højrisiko-AI-systemer
  • Et system til etablering, implementering og vedligeholdelse af efterfølgende overvågning
  • Procedurer for indberetning af alvorlige hændelser
  • Håndtering af kommunikation med nationale myndigheder
  • Systemer og procedurer til registrering af al relevant dokumentation og information
  • Ressourcestyring, herunder foranstaltninger vedrørende forsyningssikkerhed
  • En ansvarlighedsramme, der fastlægger ledelsens og andet personales ansvar
Overensstemmelseserklæring

Har man med et AI-system, der har en Høj Risiko-profil, skal systemet registreres i en officiel EU-Database.

EU’s godkendelse skal kunne fremvises i 10 år efter, at systemet gik online.

Fejlproces

Hvis man mener, at ens AI-system ikke lever op til kravene i EU’s AI Act, skal man have udarbejdet processer for at rette op på dette med det samme.

Det betyder, at det skal være muligt at trække det tilbage, deaktivere det eller tilbagekalde det, alt efter hvad der er relevant.

Det skal også være muligt at underrette evt. distributører, implementeringsansvarlige og importørerne herom.

Derudover skal virksomheder med Høj Risiko-systemer registrere systemet i EU-databasen, etablere post-market-monitorering samt foretage hændelsesrapportering.

Hvis dit AI-system opfylder mindst ét af følgende kriterier, hører det under kategorien ”Begrænset Risiko”, hvilket langt de fleste AI-systemer nok vil høre under

Det kan f.eks. være systemer der:

  • Udfører en specifik procesopgave.
  • Forbedrer resultatet af en tidligere afsluttet menneskelig aktivitet.
  • Registrerer beslutningsmønstre eller afvigelser fra tidligere mønstre, men er ikke beregnet til at erstatte eller påvirke den tidligere gennemførte menneskelige vurdering uden korrekt menneskelig gennemgang.
  • Udfører en forberedelsesopgave til en vurdering.

Med AI Act kommer der en række krav til gennemsigtighed, hvis ens AI-system hører under Begrænset Risiko. Disse krav indfører man, fordi man vil sikre, at alle borgere ved, når de interagerer med en AI eller præsenteres for AI-genereret indhold.

Når man bruger AI-systemer såsom chatbots, skal mennesker f.eks. gøres opmærksomme på, at de interagerer med en maskine. Udbydere skal også sørge for, at AI-genereret indhold kan identificeres, hvilket vil sige, at AI-genereret tekst, lyd og video skal mærkes som kunstigt genereret.

Hører dit AI-system ikke til nogle af ovenstående tre risikoprofiler, vil det sandsynligvis være placeret under Minimal Risiko.

Eksempler på dette kan være:

  • Spamfiltre
  • Videospil der bruger AI til at styre NPC’er
  • Systemer der anbefaler film eller musik

Hører ens AI-system til Minimal Risiko, følger der ikke som sådan nogle krav med. Men EU forventer på et senere tidspunkt at publicere en frivillig Code of Conduct, som virksomhederne kan underskrive og benytte sig af.

Forordningen indeholder desuden nogle skærpede krav til generelle sprogmodeller (GPAI) som f.eks. ChatGPT.

Udbydere af generelle formåls-AI-modeller (GPAI) skal bl.a. udarbejde teknisk dokumentation, offentliggøre en kort opsummering af træningsdata, sikre ophavsretlig due diligence og – ved systemisk risiko – gennemføre udvidede evalueringer, risikostyring og notifikation til Kommissionen.

Udbydere af GPAI-modeller vil fremover være forpligtede til at:

  • Registrere systemet i en fælles EU-database
  • Sikre en robust beskyttelse af fundamentale rettigheder, sundhed, sikkerhed, miljøet, demokratiet og retssikkerheden
  • Identificere og håndtere de risici, som modellen skaber
  • Overholde visse design-, informations- og miljøkrav

Hvis virksomheder ikke lever op til kravene i AI Act, kan man i yderste instans få bøder på op til 35 mio. Euro eller 7% af virksomhedens samlede globale omsætning – Hvad der nu er højest.