Samma teknik kan få helt olika konsekvens
Att låta AI bedöma tonen i ett marknadsbrev är något annat än att bedöma en arbetssökandes lämplighet, en medarbetares prestation eller om en kund bör få en viss tjänst. Tekniken kan likna varandra medan konsekvensen för människan är helt olika. Möjligheten är verklig: fler ärenden kan analyseras, service kan anpassas och behov kan upptäckas tidigare. Just därför behöver organisationen bestämma vilka bedömningar AI får göra själv, vilka den bara får stödja och vilka den inte ska användas för.
Tre olika roller för AI
Samma process kan utformas på tre sätt. I den första varianten avgör AI resultatet. I den andra lämnar AI ett underlag men en människa har tid, information och mandat att göra en egen bedömning och avvika. I den tredje används AI inte för den individuella bedömningen alls. Det är tre olika styrmodeller – inte tre etiketter på samma automation.
Frågan är juridisk – men inte bara juridisk
AI Act förbjuder vissa AI-praktiker och reglerar vissa användningar som högrisk. GDPR har särskilda regler för beslut som enbart grundas på automatiserad behandling och får rättsliga eller på liknande sätt betydande konsekvenser för en person. Även diskrimineringsregler, arbetsrätt och sektorsregler kan bli relevanta beroende på användningen. Det betyder inte att varje AI-stött bedömning är ett förbjudet automatiserat beslut. IMY skiljer uttryckligen mellan helt automatiserade individuella beslut och situationer där AI används som stöd men en människa faktiskt fattar beslutet. Den mänskliga rollen måste dock vara verklig, inte bara ett godkännandeklick.
Den bedömde behöver också finnas i modellen
När AI påverkar en människa räcker det inte att fråga om modellen är effektiv. Organisationen behöver förstå vilka uppgifter och antaganden bedömningen bygger på, hur fel eller snedvridning upptäcks, vilken information personen får och hur ett resultat kan ifrågasättas när regler eller situation kräver det. AI Act innehåller dessutom transparenskrav för vissa AI-system och användningar. Kraven varierar med situationen. Den praktiska lärdomen är att transparens måste bedömas utifrån den konkreta användningen, inte läggas till som en generell etiktext i efterhand.
Vilka bedömningar får vi överlåta till AI, vilka får AI bara stödja – och vilka ska AI inte göra alls?
Från tanke till handling
Tänkbara åtgärder
Några rimliga sätt att ta frågan vidare.
Inventera bedömningar av människor
Identifiera AI-användningar som bedömer, profilerar, rankar eller på annat sätt påverkar personer och beskriv vilken konsekvens resultatet kan få.
- Mål
- Upptäcka de användningar där juridik och mänskliga rättigheter behöver prövas tidigt.
- Extra viktigt när
- AI används i rekrytering, personalfrågor, kredit, kundurval eller andra individuella beslut.
Bestäm den mänskliga rollen
Beskriv vem som kan förstå underlaget, avvika från AI-resultatet och hantera en invändning.
- Mål
- Göra mänsklig kontroll verklig där den behövs.
- Extra viktigt när
- AI-resultatet väger tungt i ett beslut om en person.
Testa perspektivet hos den som bedöms
För en känslig användning: skriv hur bedömningen skulle förklaras, ifrågasättas och omprövas för personen som påverkas.
- Mål
- Pröva om mänsklig kontroll och transparens fungerar i praktiken.
- Extra viktigt när
- AI påverkar anställning, prestation, kredit, kundurval eller annan betydande individuell bedömning.
Källor och vidare läsning
Källorna stöder sakuppgifter och etablerade ramverk. Sidans scenarier och slutsatser är redaktionella resonemang.