AI är inte alltid rättvis – vi måste hantera etiska dilemman

Foto: Desola Lanre Ologun/Unsplash.

Hej Clàudia, berätta om ditt arbete!

– Gärna! Min forskning handlar om hur människor som arbetar i svenska offentliga organisationer, som myndigheter och universitet, hanterar etiska frågor när de utvecklar eller använder AI-system. AI presenteras ofta som något neutralt och effektivt men i verkligheten innebär det alltid val som rör etiska värden. Till exempel: Vem får tillgång till en tjänst? Vilka data används? Hur hanteras misstag? Och hur ska vi agera i osäkra situationer där det inte är tydligt vad som är rätt svar? Alla dessa val har etiska konsekvenser.

Kan du ge ett exempel?

– Javisst, tänk dig ett AI-system som används för att avgöra vem som ska få ekonomiskt stöd. Systemet kan oavsiktligt missgynna människor med ovanliga livssituationer som inte passar in i datamönstren. Det är inte bara ett tekniskt problem: Det är ett etiskt problem eftersom det påverkar människors rättigheter och välbefinnande.

– För ett verkligt exempel på oetiska konsekvenser kan vi titta på betygsskandalen i Storbritannien 2020. Eftersom proven ställdes in under covid 19-pandemin använde myndigheterna en algoritm för att sätta betyg. Systemet var tänkt att förhindra betygsinflation, men i praktiken nedgraderades många högpresterande elever från låginkomstskolor. Det förstärkte ojämlikhet och väckte en storm av kritik. Det visar de stora riskerna med oetisk AI inom offentlig sektor.

Clàudia Figueras. Foto: Privat.

Vad visade din studie av AI-system på myndigheter?

– Jag fann att etik inte är något som ”läggs till” i slutet av utvecklingen eller användningen av AI. När man jobbar med att ta fram AI-verktyg fattar man hela tiden små och stora etiska beslut. Till exempel ägnar man tid åt att diskutera hur effektivitet kan balanseras mot rättvisa, eller hur beslut ska göras transparenta för allmänheten. Den här sortens etiskt arbete är ofta osynligt, men samtidigt avgörande.

– Jag har också förstått att etiska dilemman inte bara är problem eller hinder som ska övervinnas – de kan väcka viktiga reflektioner. När ett system till exempel utlovar effektivitet på bekostnad av omsorg eller rättvisa, måste människor stanna upp och förhandla om vad som verkligen är viktigt. Slutligen är ansvar inte en fast roll. Det förskjuts mellan individer, team och institutioner, och görs kontinuerligt i praktiken snarare än att bara tilldelas på papper.

Vad innebär dina forskningsresultat?

– Den viktigaste slutsatsen är att organisationer inte kan förlita sig enbart på checklistor eller övergripande etiska ramverk för att ”lösa” etiken. De måste skapa utrymme och stöd för praktiker att reflektera, ifrågasätta och ibland vara oense. Det kräver ett ledarskap som värderar etik lika högt som teknisk prestation, och resurser – tid, utbildning, forum – som gör det möjligt. För samhället bör ansvar inte betyda att man letar efter en enskild syndabock när något går fel. Det är en gemensam process som fortsätter under hela livscykeln för ett AI-system. Detta perspektiv kan också leda till mer nyanserad reglering och ökat förtroende för institutioner som använder AI.

Vill organisationer mest bara ”hoppa på AI-tåget”, eller tänker de också på etikfrågor?

– Både och faktiskt. Det finns helt klart en växande medvetenhet om etik, och många försöker verkligen agera ansvarsfullt. Men det finns också ett tryck på att snabbt införa AI, ibland utan att ställa de djupare frågorna. Som en av mina intervjupersoner uttryckte det: ”Borde vi ens göra det här överhuvudtaget?”

– I praktiken fokuserar organisationer ofta på det som är lättast att införa eller mäta, som effektivitet. Mer komplexa frågor, som rättvisa eller långsiktiga konsekvenser för medborgarna, kan hamna i skymundan. Ansvaret läggs ofta på individer, som kanske saknar makt eller stöd att hantera större strukturella problem. Så även om medvetenheten har ökat, är utmaningen att omvandla den till en vardagspraktik och ansvarskultur som består – bortom hypen.

Hur blev du intresserad av det här området?

– Innan jag antogs som doktorand arbetade jag med dataannotering på ett företag som utvecklade AI-system. Mitt team var osynligt jämfört med ingenjörerna, vilket fick mig att inse hur dolt men avgörande det arbetet är. En dag, under testfasen, insåg jag att systemet inte fungerade för personer med mörk hud. Modellen hade bara tränats på bilder av ljushyade personer. Det ögonblicket var en chock. Det fick mig att inse att AI inte är ett neutralt verktyg, utan något skört och sårbart som formas av val och fördomar. När jag senare upptäckte forskare som Joy Buolamwini, Timnit Gebru och Cathy O’Neil blev det tydligt hur bråttom det är att ta itu med frågorna. När doktorandtjänsten i AI-etik dök upp på DSV visste jag att det var rätt väg för mig att gå. DSV, med sitt fokus på teknikens roll i samhället, var en utmärkt plats för mig att utforska dessa frågor.

Vad händer härnäst?

– Just nu fokuserar jag på disputationen och att avsluta doktorandresan. Framåt vill jag fortsätta arbeta i skärningspunkten mellan forskning och praktik, för att bidra till att AI gynnar samhället på rättvisa och ansvarsfulla sätt. Det kan innebära en fortsatt akademisk bana, eller en roll där jag hjälper organisationer eller beslutsfattare att omsätta etiska principer i praktiken. För tillfället är jag öppen för båda alternativen, säger Clàudia Figueras.

Text: Åse Karlén

This article is also available in English