Stockholms universitet

AI – smartare än en universitetsstudent?

Chattboten GPT 3.5 har slagit igenom med dunder och brak. Den nya versionen är smartare, snabbare och mer språkbegåvad. Men kan den verkligen skriva lika bra texter som en människa? Vi har frågat några forskare på Institutionen för data- och systemvetenskap (DSV).

Genrebild: Skärmdump från ChatGPT som svarar på frågan "Are you smarter than a student?"
"Jag är bara en språkmodell, jag kan inte jämföras med en students intelligens", svarade ChatGPT blygsamt när vi frågade om chattboten är smartare än en student. Skärmavbild 14 december 2022 (bilden är kolorerad).

För ett par veckor sedan släppte företaget OpenAI en ny version av sin chattbot: ChatGPT 3.5. Den har blivit en riktig snackis världen över, mer än en miljon användare har strömmat till sedan lanseringen 30 november 2022. Tjänsten är just nu kostnadsfri och har kallats ”Googledödare”, ”atombomb” och ”läskigt bra”. Det sista omdömet kom för övrigt från Elon Musk.

Men samtidigt som techentusiasterna jublar vädras också farhågor. Hur ska vi veta om vi pratar med en människa eller dator? Kommer AI ta över alla kreativa jobb? Blir vi människor dummare när den artificiella intelligensen blir smartare? Och finns det en risk att studenter tar AI till hjälp för att skriva inlämningsuppgifter?

Porträttfoto på professor Hercules Dalianis, DSV/SU.
Hercules Dalianis. Foto: Nina Malm.

Professor Hercules Dalianis forskar om naturlig språkbehandling av text. Han verkar inte särskilt orolig över att den mänskliga intelligensen ska bli överflödig.

– Jag har bara hunnit testa ChatGPT litegrann, och visst är den cool. Men man måste ställa rätt frågor för att få bra svar, säger han.

 

Naturligt steg i utvecklingen

Dalianis har själv byggt många modeller som hanterar och genererar text. Han ser inte ChatGPT som en revolution, snarare som ett naturligt steg i en lång utveckling.

– Man kan jämföra med utvecklingen inom maskinöversättningar. För 20 år sedan hade ingen kunnat drömma om att översättningarna skulle bli så bra som de är i dag. Nu tar vi det för givet. Om tio år är säkert chattbotarna så bra att vi använder dem utan att reflektera.

ChatGPT kan hantera flera språk, även svenska, och fungerar som när du chattar med en människa. Du skriver en fråga och får ett svar tillbaka. Om du ställer en följdfråga fördjupar chattboten svaret. ChatGPT lär sig hela tiden mer och mer, vilket gör att en standardfråga ställd vid två olika tidpunkter inte besvaras på samma sätt.

Kvaliteten på svaren har gjort att många frågar sig hur vi ska kunna skilja på texter skrivna av människor respektive maskiner. Sedan lanseringen har sociala medier svämmat över av framtidsutsagor, poesi och nyhetsartiklar när användarna testar chattbotens förmågor. Det ligger nära till hands att tekniken också kan användas för att fuska.

– Visst, en student som anstränger sig kan säkert få ihop en uppsats. Hen behöver i så fall skriva in flera frågor och sätta ihop styckena till en text. Men den kommer att innehålla en del konstiga grejer som måste redigeras bort, så det är inte alldeles enkelt att fuska – förutsatt att den som läser texten verkligen läser den ordentligt, konstaterar Hercules Dalianis.

 

AI-texter klarar plagiatkontroller

Verktyg som Urkund kan användas för att avslöja plagiering. Men eftersom ChatGPT genererar nya texter går den typen av verktyg inte att använda. Problematiken är egentligen densamma när studenter anlitar spökskrivare för att författa uppsatser. De texterna fastnar inte heller i plagiatkontroller.

– På DSV gör vi alltid plagiatkontroller med Urkund eller verktyg som vi har byggt själva på institutionen. Men som lärare måste man hela tiden kommunicera med studenterna och ställa frågor om innehållet i deras texter. Det är när jag träffar mina studenter som jag märker vad de kan.

– Jag känner inte att vi behöver ändra våra examinationsformer ännu. Men jag borde kanske börja bekymra mig…

Dalianis berättar att verktyg för att generera vetenskapliga texter med ”rätt” innehåll i rätt ordning har funnits ett tag. För några år sedan skickades en maskingenererad artikel in till en vetenskaplig konferens – och blev accepterad.

– Allt i artikeln såg rätt ut vid en snabb genomläsning. Det krävs en närmare granskning för att avslöja en fuskare. Jag vet inte om det finns verktyg som kan skilja mellan människors och maskiners texter ännu, men det lär annars komma inom kort. Det finns redan verktyg som kan detektera om en text är maskinöversatt eller inte, säger Hercules Dalianis.

 

Svårt att veta vad som är sant

En AI blir aldrig smartare än de data den matas med. Hur vet man att det som ChatGPT svarar är sant?

– Det kan man förstås inte veta. Och det finns en risk att exempelvis rasistiskt eller kvinnofientligt material genereras av användare för att påverka chattbotens svar, på samma sätt som man i dag kan få upp ”onda” eller ”dåliga” webbsidor som Google hittar.

– Förr kunde bibliotekarier plocka fram lämpliga böcker åt oss. Biblioteken finns kvar men bibliotekarierna är i stort sett borta, och på internet är vi alla författare. Det är trevligt att ha tillgång till all information, men en sökmotor eller en chattbot är rätt korkad. Den kan inte avgöra vilken information som är viktig och bra, säger Hercules Dalianis.

Kontaktuppgifter till Hercules Dalianis

 

 

Fler forskarröster om chattboten

Martin Duneld, universitetslektor på DSV:

Martin Duneld
Martin Duneld

”Min reflektion som examinator är att den nya tekniken kommer att göra examination betydligt dyrare om vi vill säkerställa vem – och framför allt vad – vi examinerar. Tekniken har gått framåt oerhört mycket på kort tid nu, och jag tror att den kommer att fortsätta göra det. För att säkerställa att studenterna har lärt sig det vi vill att de ska kunna, behöver vi bryta trenden med onlinetentor. I stället bör vi gå tillbaka till övervakade examinationer på campus och betygsgrundande uppgifter som vi ser växa fram under kursens gång. De högre betygen kommer vi nog under en lång tid framöver fortfarande kunna garantera är välgrundade, speciellt om vi själva försöker hänga med i utvecklingen. Men de lägre betygen kommer bli svårare att garantera utan hundraprocentig identitetskontroll och övervakning.

Min reflektion som forskare är att det finns många vällovliga användningsområden för tekniken. Till exempel inom teknikstött lärande, för att skapa mer individanpassat kursmaterial och guidning genom kursmaterialet. Jag tror också att vi kommer att se ett ökat fokus på hantering av bias i träningsdata. Vi har redan haft ett flertal skrällar där tillämpningar har behövts dras tillbaka för att de (re)producerar rasism, antisemitism, misogyni och ’alternativa fakta’.

Det finns helt klart för- och nackdelar med tekniken för våra olika roller. Vi måste se till att både parera och utnyttja tekniken för att uppfylla vårt uppdrag.”

Kontaktuppgifter till Martin Duneld


Martin Henkel, docent på DSV:

Martin Henkel
Martin Henkel

”Det är faktiskt riktigt imponerande hur chattboten får ihop sammanhängande texter med relevant innehåll. Jag skulle säga att ChatGPT är bra för att skapa korta sammanfattningar, den visar helt enkelt de viktigaste begreppen i ett ämnesområde. Nivån den klarar är i alla fall som den första introduktionsföreläsningen på en kurs.

När jag ställer några enkla, korta tentafrågor till ChatGPT så svarar den på minst nivå E, ofta högre. Svaren är relativt långa och innehåller en del generell text där frågan parafraseras. Men svaren innehåller också korrekta detaljer och exempel. Mer avancerade tentafrågor går ofta ut på att studenten ska designa en lösning på ett problem. Här kan ChatGPT i dagsläget enbart svara med text. Det gör att den får underkänt då beskrivningen av lösningen ofta kräver olika typer av modeller.

I allmänhet har chattboten inte fel, svaren blir bara lite pratiga och saknar ibland precision. Jag ser inte heller någon fara i att vi ger en student som använder ChatGPT betyget A. Men jag tror att studenten ganska lätt kan få E – eller till och med C.”

Kontaktuppgifter till Martin Henkel


Jalal Nouri, professor på DSV:

Jalal Nouri
Jalal Nouri

”Jag håller med mina kollegor men vill lägga till en reflektion, nämligen att vi också bör ta verktygets pedagogiska värden i beaktande. Vi behöver fundera kring hur detta kan stödja elever i skrivprocessen, snarare än att enbart se det som en utmaning och risk.

Jag känner personligen att det finns möjligheter att skapa motivation kring skrivande hos elever som annars inte är motiverade att skriva. Hur kan vi använda AI för att stödja gestaltandet och kommunikationen av tankar? Vad kan vi lära oss av språk genom att analysera AI-texter? Vad för slags skrivförmågor behöver vi i ett framtida samhälle? Med andra ord: Hur kan vi nyttja den här teknologin för att stödja pedagogiken i stället för att enbart se den som ett hot."

Kontaktuppgifter till Jalal Nouri

Text: Åse Karlén
Till Institutionen för data- och systemvetenskap (DSV)