Stockholms universitet

Reproducerbarhet – en hörnpelare inom forskning

Att kunna upprepa forskningsresultat är en viktig grund i all forskning – det gör forskningen mer trovärdig. Men hur vanligt är det att resultat går att upprepa? Det är något som Gustav Nilsonne, forskare i neurovetenskap och metavetenskap, undersöker i sin forskning.

Gustav Nilsonne, forskare i neurovetenskap och metavetenskap. Foto: Annika Hallman


Gustav Nilsonnes forskning i neurovetenskap handlar bland annat om sömn och dygnsrytmer, och parallellt med den har han de senaste åren ägnat sig åt det som kallas metavetenskap, det vill säga forskning om själva vetenskapen i sig, och särskilt då det som kallas reproducerbarhet och öppenhet inom vetenskap. Han forskar både vid Psykologiska institutionen, Stockholms universitet, och på Karolinska institutet.
– Reproducerbarhet innebär att när man gör om ett experiment eller undersöker något igen så ska det bli samma resultat. Det är en hörnpelare i den vetenskapliga processen. Redan Galileo Galilei, som på 1500-talet gjorde noggranna observationer och experiment, bland annat om pendlars svängningar, menade att det är viktigt att kunna testa en teori empiriskt för att kunna tro på den. Det räcker inte att någon gammal auktoritet har skrivit att något ska kunna röra sig si eller så, det måste gå att genomföra och upprepa, enligt honom.

 

Varför är det så viktigt?

– En anledning är att vi annars riskerar att fatta viktiga beslut på felaktiga grunder. Det kan till exempel handla om patienter som får en sämre behandling, baserat på forskning som inte är reproducerbar. Men även om reproducerbarhet är viktigt så är det ändå inte så vanligt som man skulle kunna tro att det faktiskt testas. De flesta experiment blir inte utsatta för reproduceringsförsök.

 

Varför då?

– Det är en bra fråga. Jag tror att det bland annat kan bero på att det anses finare att upptäcka något nytt än att göra studier som bekräftar något som redan är känt.
Själv medverkade Gustav Nilsonne som forskare i en studie 2015 som handlade om att reproducera 100 experiment inom psykologi, med just målet att försöka göra om experimenten så exakt som möjligt. Bakom arbetet med studien stod 270 forskare från olika länder.
– Vi kom fram till att endast en tredjedel av försöken kunde reproduceras. Det vållade en del debatt. Jag är inte säker på om det är så dåligt egentligen, men studien gav i alla fall stöd åt idén att en majoritet av resultaten inte går att upprepa.

 

Hur många upprepningar behövs för att ett resultat ska anses tillförlitligt?

– Det beror på, det finns ingen tumregel. Men man kan i alla fall säga att ju mer överraskande ett fynd är, desto mer behöver det testas.  

 

Kan det vara svårt att upprepa experiment?

– Ja, det kan finnas okända faktorer som påverkar ett visst resultat, som har att göra med tiden och omgivningen för ett experiment till exempel. Men i många fall beskrivs forskningsresultat som allmängiltiga, och i studien med de 100 experimenten inom psykologi så pekade vi på problemet att studierna hade låtit slumpen ha för stort spelrum. Jag tror att man i många av de studier som vi försökte replikera hade mätt många olika saker, och sedan publicerade man det som råkade se ut som en stor effekt. Jag tror också att det finns många studier som inte visade någon intressant effekt, och som aldrig har publicerats. Sammantaget ger det en bild av att det finns många fler bekräftade effekter än vad som är fallet.

Det är det här som kallas reproducerbarhetskrisen, att tilltron till forskningen riskerar att sjunka om det visar sig att det är färre forskningsresultat som kan reproduceras än vad man har trott tidigare.
– Det är en slags tillförlitlighetskris kan man säga, en debatt som har vuxit fram de senaste åren, de fall av fusk som har blivit avslöjade inom forskning på olika håll har säkert också påverkat diskussionen, säger Gustav Nilsonne.
Ett problem tror han är det som han har varit inne på tidigare, nämligen att det är nyheter som premieras när det gäller att publicera forskningsresultat, både av vetenskapliga tidskrifter och av forskningsfinansiärer.
– I en sådan situation är det lätt att forskare börjar ta genvägar och bara ser det som de väljer att se, och att det blir en snedvridning av det som publiceras.

 

Hur går det att komma tillrätta med det här?

Gustav Nilsonne pekar på framförallt två saker som behöver förändras: meriteringssystemet för forskare och att forskaren själv blir mer öppen kring forskningsprocessen.
– Som forskare kan man publicera sina hypoteser och sin analysplan på förhand. Då kan läsaren se vad forskaren har tänkt från början och när sedan fynd och data publiceras öppet så går det att jämföra. 
Meriteringssystemet för forskare tror han skulle behöva reformeras helt.
– Som systemet är i dag så bedöms forskare i hög grad efter var forskningen är publicerad, till exempel utifrån tidskrifternas så kallade impaktfaktor, eller efter hur många publiceringar en viss institution har haft. Det vore bättre om bedömningen görs efter forskningens innehåll.
En väg framåt som både underlättar granskning och tillgång till forskningsdata är öppen vetenskap, något som Gustav Nilsonne forskar om och är engagerad i, bland annat i European Open Science Cloud (EOSC). 

 

På vilket sätt kan öppen vetenskap samspela med reproducerbarhet?

– Det är inte självklart att forskningsresultat blir reproducerbara bara för att det finns öppen vetenskap, men det hänger intimt ihop. Forskare som använder öppen vetenskap och gör sina forskningsdata tillgängliga för andra underlättar för att andra forskare att granska, analysera och upprepa experimenten. Samspelet gör forskningen mer trovärdig.
Det var redan i början av sina doktorandstudier 2005 som Gustav Nilsonne började intressera sig för metavetenskap, alltså forskning om forskningen själv. Vad var det som var intressant med det?
– Ett svar är att jag alltid har varit intresserad av att veta vad det är som gör forskning pålitlig. Ett annat svar är att jag har haft tvivel på min egen forskning och om den är reproducerbar. Och sen tycker jag att det är väldigt viktigt att kunna lita på forskningsresultat.
Ett stort projekt som han just nu är involverad i är en så kallad multianalysstudie, ”Multi 100”, där forskare från 70 olika länder ska utgå från samma data i sina analyser. 
– Det är 100 olika studier inom samhällsvetenskaplig forskning, till exempel psykologi, folkhälsovetenskap och ekonomi, som utgör grunden. Sedan ska oberoende forskare använda samma data och frågeställningar som finns i studierna och se om de kommer till samma resultat. 
Syftet är att undersöka hur stor frihet forskarna har att analysera data i den riktning de själva vill, berättar Gustav Nilsonne.
– Vi vill veta hur stor den analytiska rymden är, när forskarna angriper samma material men från olika håll och med olika sätt. 
Resultaten väntas bli klara under 2022. 

 

Mer information

Studien “Estimating the reproducibility of psychological science” publicerades i tidskriften Science, 2015.
Läs fler artiklar om ämnet faktatillit.

Artikeln publicerades i oktober 2021.