Transparent AI – mot ett rättvist beslutsfattande
AI-teknik kan vara till stor nytta inom hälso- och sjukvård, utbildning och rättsväsende. Men AI kan även bidra till och förstärka diskriminering om tekniken inte hanteras noggrant. Hur kan AI göras rättvist, transparent och rättssäkert för att bistå samhället på ett ansvarsfullt sätt? Det undersöker forskarna i ett projekt vid Stockholms universitet.
Panagiotis Papapetrou, forskare vid Institutionen för data- och systemvetenskap vid Stockholms universitet, undersöker dessa frågor tillsammans med sitt team i ett nytt forskningsprojekt, ”AI för samhället: Mot ett socialt rättvist, algoritmiskt beslutsfattande”.
– Man kan se AI som ett litet barn som sakta växer upp, försöker skapa associationer och lär sig genom att observera sin omgivning. Vi kan designa rättvisa AI-system genom att ge dem en uppsättning regler och begränsningar som kartlägger eller återspeglar vad rättvisa innebär i det nuvarande systemet eller samhället, säger Panagiotis Papapetrou.
Forskarna bygger en AI-modell som har ett inbyggt skydd mot bias. Målet är att experter inom olika områden, till exempel inom hälso- och sjukvård och utbildning ska börja använda detta verktyg för att undvika bias.
Ett stort problem med AI som det talats mycket om är partiskhet, att systemet har en tendens att förstärka existerande fördomar och ojämlikhet eftersom modellen bygger på historiska data.
– Om jag vill anställa en ny medarbetare i min organisation, bör jag säkerställa att jag inte diskriminerar på grund av kön. Om det tidigare har förekommit fall där majoriteten av de anställda tillhör ett visst kön, kommer AI att lära sig denna partiskhet, eftersom den kommer att betrakta det som ett slags anställningskriterium och integrera det i sin anställningsprocess.
Till exempel kan AI-baserad betygssättning missgynna vissa elevgrupper. Ett annat riskscenario är att algoritmer som används inom hälso- och sjukvården kan förbise och marginaliserade gruppers behov vilket kan innebära att de patienterna får en sämre vård.
– Man kan tänka sig dessa djupinlärningsalgoritmer som mänskliga hjärnor, neuroner. De är helt eller delvis kopplade till varandra. Det är därför omöjligt att förstå exakt hur de fungerar.
Baserat på vad användare matar in i systemet kan AI:n leverera ett svar eller en diagnos och avgöra vilken behandling en patient ska få.
– Men vi förstår inte riktigt, eller kan inte riktigt se hur de fattar det beslutet. Vi kan inte förstå deras logik, säger Panagiotis Papapetrou.
För att ta itu med dessa problem utvecklar Panagiotis’ team metoder som hjälper oss att förstå grunden till partiskhet inom AI. Det första steget är att göra AI transparent. Forskarna utvecklar tekniker för att göra AI-beslut tolkningsbara och att de ska kunna ge tydliga motiveringar till sina resultat.
– Vi vill att de ska avslöja för oss vad de baserar sina beslut på. Vi vill också att de ser till att de inte lär sig de fördomar som finns i datamaterialet – genom att ge dem nya regler. Till exempel ska yttre faktorer inte påverka beslutet om någon ska beviljas ett lån eller inte, säger Panagiotis Papapetrou.
Fakta
Forskarnas metoder testas i verkliga fallstudier, med fokus på automatiserad betygsättning i utbildning och diagnostiskt stöd inom hälso- och sjukvård. Dessa tillämpningar hjälper till att utvärdera om AI är rättvis i olika miljöer, från klassrum till kliniker.
Genom att fokusera på tvärvetenskapliga metoder knyter projektet samman datavetenskap, etik, juridik och samhällsvetenskap för att skapa handlingsbara ramverk för rättvis AI.
Senast uppdaterad: 2026-03-03
Sidansvarig: Kommunikationsavdelningen