Stockholms universitet

Hur rädda ska vi vara för deep fakes?

Manipulerade filmklipp eller bilder som tillkommit genom avancerad maskininlärning är ett fenomen som har funnits på internet de senaste åren. De kallas deep fakes och är ofta så skickligt gjorda att de ser ut som äkta. Vad finns det för utmaningar med fenomenet? Går det att lära sig att se vilka klipp som är falska?

Bildmanipulationer av rörliga filmklipp med kända personer kan vara så välgjorda att de verkar äkta. Men finns det något glapp i mimiken? Hur ser symmetrin i ansiktet ut? Det är några tips från forskare på hur du kan avslöja bildmanipulationer. Foto: Lumination/Mostphotos

– Bildmanipulation är ett fenomen som egentligen har funnits länge, men man kan säga att med bildbehandlingsprogrammet Photoshops ankomst på 1980-talet så accelererade möjligheterna. Det blev en stor förändring med den digitala tekniken, och i och med de senaste årens explosion av nya verktyg inom AI så har det blivit lättare och mer tillgängligt, säger Tobias Falk, lektor i digitala medier vid Institutionen för data- och systemvetenskap, som undervisar i programmet Digital mediaproduktion.

Tobias Falk. Foto: Privat

Han berättar att ett av de mest uppmärksammade fejkade filmklippen på senare år gjordes av den amerikanske komikern och filmregissören Jordan Peele 2018, ”You Won’t Believe What Obama Says In This Video!”

– Det är en film där Barack Obama varnar för att den nya tekniken kan missbrukas på olika sätt och han uppmanar tittarna att inte lita på allt som finns på internet. Men klippet är inte äkta, Barack Obamas ansikte och röst har manipulerats, det var ett medvetet grepp för att uppmärksamma problemet med deep fakes och fake news, i ett politiskt läge i spåren av att Donald Trump hade valts till president och Storbritannien hade röstat för att lämna EU, säger Tobias Falk.

Amanda Wasielewski, postdoktor i konsthistoria vid Institutionen för kultur och estetik, forskar bland annat om den digitala teknologins påverkan på konst, arkitektur och kulturarvsinstitutioner och hon tycker att debatten som finns i dag när det gäller konstgjorda bilder på internet och hur vi ska förhålla oss till AI påminner en hel del om de diskussioner som fanns under 1800-talet, när fotografiet dök upp. 

Amanda Wasielewski. Foto: Stockholms universitet

– Fotografiet sågs i början som något objektivt som fångade en bit av verkligheten. Det var först senare, på 1900-talet, som det började betraktas mer som konst. Jag tycker att det är intressant att undersöka hur vi kan se på fenomen som deep fakes och AI och hur de förhåller sig till vad som är äkta och vad som är konst. De eftersträvar ju en slags äkthet, så som fotografiet gör, och är samtidigt konstnärligt utformade, men de kan matas fram helt automatiskt med hjälp av maskininlärning. 

I sin forskning analyserar hon bland annat så kallade falska porträtt som genereras automatiskt med hjälp av en algoritm som kallas ”generative adversarial network” (GAN).

– Om vi drar en parallell till fotografiet, hur kan vi betrakta sådana porträtt? Är de verkliga i någon mening? Personen som syns på bilden existerar inte i verkligheten, men bilden berättar kanske ändå något för oss som betraktar den? Och hur påverkar de oss?

 

Vilka utmaningar finns det när det gäller deep fakes och bildmanipulation på internet?

– Det finns en stor potential till kreativitet med de verktyg som är tillgängliga i dag, men också en fara förstås för politisk desinformation. Tekniken kan missbrukas och förstärka stereotyper. Jag är inte orolig, men vi behöver träna oss i kritiskt tänkande, säger Amanda Wasielewski.

Tobias Falk säger att eftersom arbetsprocessen för att skapa en deep fake är ganska krånglig och lång kan det göra att fenomenet bleknar och blir mindre relevant framöver. 

– Du måste till exempel ha en skådespelare som kan härma mimiken hos den du ska porträttera för att kunna göra alla algoritmer. Det blir en stor produktionsapparat. På ett sätt är sociala medier kanske farligare i dag. En tweet går snabbare att göra än att producera ett filmklipp. Och det är enklare att skicka ut olika påståenden eller uppmaningar via sociala medier som delas och sprids, då behövs inga deep fakes. 

 

Amanda Wasielewskis tips för att upptäcka deep fakes och bildmanipulationer:

  • Var uppmärksam på information som är fördomsfull.
  • En manipulerad bild går ofta att avslöja på dålig symmetri i ansikten.
  • Titta på detaljer i bilden, som örhängen, ögon, föremål – verkar de passa in?
  • Finns det små skevheter i bilden som inte verkar stämma?
  • Det är svårt att kopiera händer, så titta lite extra på dem, fingrar kan bli spegelvända, ha fel antal, eller peka åt fel håll.
  • Titta också på ögonen, ser de ut att vara på rätt plats i ansiktet?
  • Titta också på bakgrunden i bilden, om den ser ut att vara inklippt eller suddig.
 

Tobias Falks tips för att upptäcka deep fakes och bildmanipulationer:

  • Ibland kan en deep fake vara så välgjord att den verkar äkta. Men det är alltid bra att se till kontexten, verkar den sannolik?
  • Är det trovärdigt det som visas?
  • Försök läsa av mimiken. Det är det visuella språk som vi människor är mest utvecklade på att tolka, redan som bebisar kan vi känna igen och läsa av andra människors ansikten och ansiktsuttryck. Så fort där finns minsta glapp i mimiken hos någon i ett videoklipp, så upptäcker vi oftast det. Lita på den känslan.  
  • Allt som är icke mänskligt är lättare att fejka. Sådant som möbler och bakgrund, olika miljöer.
  • Återigen, var uppmärksam på kontexten, ställ dig frågorna: Vem har gjort detta? Vem kan tjäna på det? Använd vanligt kritiskt tänkande.
  • Se upp med allt som är politiskt.
 

Mer läsning och fördjupning

Amanda Wasielewski ingår i forskningsprojektet ”Metadata Culture. Deltagande i det visuella kulturarvet. Metadata, återanvändning och tvärvetenskap” vid Institutionen för kultur och estetik. Forskningen leds av Anna Dahlgren.

Jordan Peeles film (april 2018):
”You Won’t Believe What Obama Says In This Video!”

Föreläsning med forskaren och artisten Andrew Hazelden: ”Neural Rendering the Metaverse. Exploring Next-Generation Ai Driven Techniques”, i Oslo den 10 mars 2023. I föreläsningen lyfts också Tobias Falks arbete med Virtual Production.

Vill du utbilda dig i digitala medier? Tobias Falk undervisar på kursen Digital mediaproduktion som ingår i Kandidatprogram i digitala medier vid Institutionen för data- och systemvetenskap.