Det var et af de mange interessante emner på ITB arrangementet ”Dating the AI society” under Techfestivalen i sidste uge. Et emne der er god grund til at diskutere – også i fremtiden.
Når en AI (Artificial Intelligence) løsning skal forudsige fremtiden eller komme med en anbefaling, tager den nemlig typisk udgangspunkt i mønstrene fra historiske data. Og her starter udfordringerne.
Fortidens ubevidste valg rammer dig i fremtiden
Forestil dig, at du sidder i en dansk finansvirksomhed, der bruger kunstig intelligens til at komme med en anbefaling til den helt rigtige kandidat, der skal starte på næsthøjeste niveau i selskabet, men have potentialet til at avancere til højeste niveau indenfor 3-5 år.
AI’en anvendes til screening af kandidater. På baggrund af de historiske data fravælger den konsekvent kvinder, mænd med ikke dansk-klingende navne og personer fra Lolland.
Det skyldes, at disse personer historisk set kun i meget få tilfælde har kunnet nå en direktionspost i en dansk finansiel virksomhed. Der er derfor ingen grund til at inkludere dem som kandidatpotentiale.
Virksomhedens historiske og ubevidste præference bliver på den måde et utilsigtet fremadrettet fravalg af bestemte grupper (eksemplet er sat på spidsen for at illustrere problemstillingen).
”Der er flere eksempler på, at AI-løsninger har udelukket eller skabt særlig fokus på bestemte grupper på baggrund af historiske data. Der er eksempler fra USA, hvor en ubevidst bias mod sorte blev opdaget som følge af brug af machine learning. Så det er et reelt problem, man skal forholde sig til, når man arbejder med kunstig intelligens,” siger Bent Dalager, formand for udvalget for Digitalt Erhverv i IT-Branchen og Nordic Head of NewTech i KMPG.
I debatten på Techfestivalen blev den gode side ved dette også diskuteret. For uden brug af en AI-løsning vil denne bias ikke være opdaget og kunne have fortsat længe endnu.
Nødvendigt med revision af ens algoritmer
Når man arbejder med kunstig intelligens, er det derfor vigtigt, at man er bevidst om de faldgruber, der findes omkring ens algoritmer. Ellers fortsætter og forstærker man blot virksomhedens (ubevidste) vaner.
”Man skal først og fremmest være opmærksom på, at mange af de populære AI algoritmer vil have tendens til at gentage de handlinger som medførte succes i fortiden. Det kan i mange tilfælde være en rigtig god idé, men er ikke altid en god løsning. Desuden bør man køre en egentlig revision på selve AI-løsningen for at sikre, at der ikke er utilsigtede bias i den,” udtaler Bent Dalager.
Baseret på forårets AI-udspil fra EU forventer han, at AI-revision kommer til at blive et lovkrav inden for få år.
Udfordringen ved Black-box algoritmer
Særligt de såkaldte “black-box” algoritmer giver anledning til hovedbrud.
De er typisk baseret på dybe neurale netværk og er ofte meget stærke i deres evne til problemløsning, men det er vanskeligt og ofte umuligt at forklare, hvorledes de er kommet frem til deres resultat på en måde, som giver mening for et menneske.
Lige nu er løsningen, at et menneske skal ind over for at godkende resultatet. Det er ligefrem blevet skrevet ind i den nye GDPR forordning, hvis der er tale om kritiske beslutninger.
For at sikre os mod bevidst eller ubevidst bias og opnå det som EU kalder “AI-diversity” bliver det ifølge Bent Dalager også nødvendigt at tænke “AI-diversity-by-design” ind som en præmis, når man udvikler kunstig intelligens.
Ligesom det kan være nødvendigt at få en anden AI til at undersøge og overvåge visse AI-løsninger.