Nya riktlinjer för myndigheters AI-användning
I nya riktlinjer för myndigheternas användning av generativ AI varnas bland annat för att rekrytering och urval med hjälp av AI-system innebär en stor risk för diskriminering. Riktlinjerna, som ställer krav på att myndigheterna måste göra riskbedömningar innan de använder generativ AI, behövs både för de anställdas och medborgarnas skull, menar STs utredare Martina Cras.
De nya riktlinjerna för myndigheters användning av generativ AI har utarbetats av Myndigheten för digital förvaltning, Digg, och Integritetskyddsmyndigheten, IMY, på uppdrag av regeringen, som vill öka takten i digitaliseringen. ”Offentlig sektor får inte halka efter och därmed gå miste om produktivitets- och kvalitetsvinster”, kommenterade civilminister Erik Slottner, KD, uppdraget till Digg och IMY i ett pressmeddelande.
Samtidigt finns både begränsande lagstiftning och inneboende risker med generativ AI att ta hänsyn till. EUs dataskyddsförordning GDPR, den svenska lagstiftningen och ett antal sektorsvisa registerförfattningar sätter ramar för användningen av personuppgifter. Därtill kommer EUs AI-förordning, som delvis börjar gälla redan i höst.
En princip i regelverken är att det ställs högre krav på det rättsliga stödet för behandling av personuppgifter ju större risker behandlingen innebär. IMY har exempelvis bedömt två fall där AI-stöd användes vid utlämnande av allmänna handlingar i en kommun. En maskeringstjänst som använde generativ AI bedömdes som tillåten, medan en mer omfattande tjänst bedömdes som otillåten.
Det behövs lokala styrdokument som klargör hur generativ AI får användas och vilka krav som ställs på hanteringen, slås det fast i riktlinjerna. Myndighetsanställda måste exempelvis få veta om de får använda allmänt tillgängliga AI-tjänster såsom ChatGPT i arbetet.
Sådana tjänster förmedlas främst av amerikanska företag, och eftersom de i huvudsak riktar sig till privatpersoner har de ofta standardiserade avtal och villkor. Myndigheterna behöver därför undersöka om villkoren kan bryta mot reglerna i dataskyddsförordningen. Andra risker som tas upp i riktlinjerna är att känslig information överförs till AI-tjänsten och att myndighetsdata kan komma att användas av tjänsten som träningsdata.
Om den generativa AI-tjänsten är integrerad i myndighetens programvaror och aktiveras kan tjänsten få tillgång till information som programvaran behandlar. Då krävs att myndigheten undersöker om användning innebär ny behandling av personuppgifter. Det är också nödvändigt att kartlägga och klassificera information.
Myndigheten har också skyldigheter gentemot den enskilde, som bland annat har rätt till information om vilka personuppgifter myndigheten har om personen och hur de används. Men enligt riktlinjerna behöver myndigheterna inte informera alla vars personuppgifter kan ha använts som träningsdata i en generativ AI-tjänst, eftersom det skulle bli en ”oproportionerlig ansträngning”.
Förutom att själva behandlingen av personuppgifter måste ske inom lagens råmärken måste också resultatet – utdatan – vara korrekt. Riktlinjerna varnar för att så kallad bias eller partiskhet kan uppstå, beroende på vilka data som grundmodellen har tränats på. Bias kan leda till diskriminering av människor och grupper.
Generativ AI kan också skapa ”hallucinationer”, då den ger påhittade eller felaktiga svar. ”Vissa hallucinationer kan vara väldigt svåra att skilja från fakta”, framhåller riktlinjerna. Därmed kan det också bli svårt att följa dataskyddsförordningens princip om korrekthet.
Riskerna kan minska om grundmodellen kompletteras med information från utvalda, pålitliga källor, en teknik vid namn RAG. Men riktlinjerna ställer krav på att myndigheterna ändå kontrollerar AI-systemets svar noggrant, eftersom hallucinationer förekommer även när RAG används.
Ytterligare en utmaning för myndigheterna är det som kallas ”svarta lådan-problematik”, att det inte alltid går att förstå på vilka grunder ett svar ges. Det kan innebära säkerhetsrisker – som inte heller går att identifiera fullt ut. Riktlinjerna manar därför till försiktighet:
”Offentliga verksamheter bör därför överväga om användningen av generativ AI är nödvändig eller om en mer förutsebar, regelbaserad it-lösning kan fylla samma funktion. Enklare AI-lösningar som kan ge bättre kontroll över och förståelse för behandlingen bör också övervägas.”
I de fall myndigheter beslutar sig för att använda generativ AI rekommenderar riktlinjerna att mänsklig kontroll upprätthålls. Det innebär att en människa ska kunna granska och förstå resultaten. Risken för exempelvis ”hallucinationer” kan begränsas om svaren görs mer transparanta genom att resonemang visas steg för steg, så kallad chain of thought.
Riktlinjerna går också igenom vilka arbetsmiljömässiga och arbetsrättsliga konsekvenser generativ AI kan få. Enskilda medarbetare kan få andra arbetsuppgifter, arbetsmetoder och arbetsmiljö, och arbetsgivaren måste därför kartlägga påverkan och göra en risk- och konsekvensanalys. Arbetsgivaren ansvarar också för att utbilda anställda, såväl om hur verktygen ska användas som om etiska frågor och begränsningar i användningen.
När det gäller arbetsrättsliga frågor framhåller riktlinjerna bland annat att rekrytering och urval med hjälp av AI-system innebär en stor risk för diskriminering. I riktlinjerna konstateras också att den omfattande övervakning av anställda som är möjlig genom många AI-verktyg i princip är otillåten, om den inte har stöd i lag.
Det slås också fast att arbetsgivaren som huvudregel är ansvarig för fel som medarbetare begår när de använder generativ AI, fel som kan resultera i felaktig myndighetsutövning.
Martina Cras, utredare på ST, anser att riktlinjerna är behövliga, både för de anställdas och medborgarnas skull. Hon ser det som positivt att utvecklingen av AI-användning enligt riktlinjerna bör ingå i det systematiska arbetsmiljöarbetet, och att det ska finnas en mänsklig kontroll i handläggningen.
”Det är viktigt att de verktyg och leverantörer som används tar hänsyn till ett demokratiskt och rättssäkert system. Men vi ser att det är en bra grund för vidare arbete för AI inom staten”, skriver hon i en kommentar till Publikt.
Detta är en nyhetsartikel. Publikts nyhetsrapportering ska vara saklig och korrekt. Tidningen har en fri och självständig ställning gentemot sin ägare, Fackförbundet ST, och utformas enligt journalistiska principer samt enligt spelreglerna för press, radio och TV.
