Stockholms universitet

”Lätt att övertolka statistik”

Vilken roll spelar statistik för forskning? Vilka är de vanligaste felen när det hänvisas till statistiska undersökningar? Dan Hedlin, professor i statistik, delar med sig av några tips.

Statistik. Foto: Gunnar Stenberg/Mostphotos
Med hjälp av statistik går det att systematiskt samla in data och dra kvantitativa slutsatser. Foto: Gunnar Stenberg/Mostphotos

Dan Hedlin är professor i statistik och kommenterar ofta aktuella debatter och undersökningar som har med statistik att göra, både i egna inlägg i sociala medier och i intervjuer. Det kan vara opinionsundersökningar inför olika val, PISA-undersökningarna, arbetslöshetssiffror eller brottsstatistik. Med åren har han samlat på sig en hel del erfarenheter av vad man som nyhetskonsument kan vara vaksam på. Ett vanligt fel är att medier övertolkar en statistisk undersökning, menar han.
– Ofta ses en statistisk undersökning som en sanning, men man måste känna till att det finns en statistisk osäkerhet i alla undersökningar. Ibland kan den förändring som redovisas ligga inom den statistiska felmarginalen, som fångar upp sådant som har att göra med urvalsfel.

För att undvika detta brukar Dan Hedlin själv dubbla den statistiska felmarginalen i redovisningen av en undersökning, för att både räkna in den statistiska osäkerheten som uppstår när man gör ett urval och få in eventuella fel som har med annan osäkerhet att göra, som svarsbortfall.

Dan Hedlin. Foto: Eva Dalin
Dan Hedlin, professor i statistik. Foto: Eva Dalin

När började statistik användas i samhället?

– Ordet statistik kommer från 1800-talet, från tyskan, och betyder ungefär ”statens uppgifter”. Att använda statistik för till exempel folkräkning och skatt har man gjort på många håll i världen sedan länge, tänk bara på skatteskrivningen som beskrivs i Gamla testamentet. Men man brukar säga att den första statliga folkräkningen som gjordes för statistiska ändamål ägde rum i Sverige på 1700-talet, då handlade det om att få in statistiskt underlag för att se hur landet kunde bygga upp en stor armé, säger Dan Hedlin.

Inom forskningen började statistik användas mer systematiskt i början av 1900-talet. Det gjordes till exempel experiment inom jordbruk för att räkna ut hur man får en bra skörd och sjukdomar i befolkningen undersöktes, bland annat av forskare i England. Statistiska undersökningar för att mäta den allmänna opinionen började användas av George Gallup i USA på 1930-talet.
– Det nya var att man började räkna på sannolikhet och använde matematiska metoder och modeller.

Enkät. Foto: Roland Martinsson/Mostphotos
Enkäter med färdiga svarsalternativ kan påverka resultatet, menar Dan Hedlin. Foto: Roland Martinsson/Mostphotos

I dag finns statistik i så gott som all forskning, menar Dan Hedlin.
– Jag tror att det viktigaste som statistiken har bidragit med inom vetenskapen är att systematiskt kunna samla in data och dra kvantitativa slutsatser på ett välgrundat sätt.
Några vanliga insamlingsmetoder när det gäller statistiska undersökningar där man ställer frågor till människor kan vara webbenkäter, pappersenkäter, stickprov, besöksintervjuer och telefonintervjuer. Men det finns också andra typer av statistiska undersökningar, påpekar Dan Hedlin.
– Språkvetare kan räkna förekomsten av vissa ord och uttryck i texter, man samlar in grödor för att skatta den totala skörden, man testar nya mediciner eller räknar valar och elefanter med ekolod och från flygplan.
– Det är bara fantasin som sätter gränser för vilken metod man använder, men telefonintervjuer börjar bli svårt att genomföra, det är ett växande problem i västvärlden, att svarsunderlaget inte är tillräckligt stort, folk svarar inte längre i telefon.
Allt behöver man heller inte fråga folk om, mycket data finns redan i samhället, sådant som elförbrukning och priser för olika varor till exempel.
– En del uppgifter kan samlas in på internet.

Vilken insamlingsmetod är mest tillförlitlig för att producera statistik?

– Det går inte att säga, en blandning av metoder är bra.
Däremot kan undersökningens utformning påverka resultatet. Dan Hedlin berättar att det har gjorts experiment för att studera psykologin bakom hur folk svarar på frågor beroende på hur frågorna ställs och i vilken ordning som frågorna kommer. Ett klassiskt exempel är från kalla krigets USA:
– Två frågor skulle ställas till en grupp med deltagare. Om deltagarna först fick frågan: ”Tycker du att journalister från Sovjetunionen ska få verka fritt i USA?” svarade många nej. Men om den frågan hade föregåtts av frågan: ”Ska amerikanska journalister få verka fritt i Sovjet?” blev det fler som svarade ja på båda. Det här visar att den som svarar försöker vara konsekvent i sina svar.

Färdiga svarsalternativ kan styra resultatet

Ett annat problem kan vara undersökningar där det listas en rad svarsalternativ.
– Färdiga svarsalternativ styr ofta hur resultatet blir och många väljer de alternativ som står i mitten, det som bedöms som mest ”normalt”, till exempel om det handlar om antal timmar med tv-tittande.

Stor folksamling. Foto: Alex Matvienko/Mostphotos
Vem står bakom en statistisk undersökning? Vilken metod har använts för att samla in svar? Det kan vara bra att känna till, tipsar Dan Hedlin. Foto: Alex Matvienko/Mostphotos

Om en lista med svarsalternativ är väldigt lång är det också svårt för den som svarar att få en överblick. Dan Hedlin nämner en enkät som ungdomar skulle fylla i kring fortsatta studier efter gymnasiet.   
– De som hade svarat ja på frågan om de ville studera på högskola fick en följdfråga om vid vilket lärosäte de kunde tänka sig att studera och så en lista på omkring 50 lärosäten i landet. De som står först i en sådan lista får ofta mer kryss än de som är i mitten. I den första varianten av enkäten stod äldre lärosäten som Lunds universitet och Uppsala universitet först och fick mest kryss. I nästa omgång stod lärosätena i bokstavsordning och då blev Blekinge tekniska högskola mer kryssat eftersom de hamnade högre upp.
– I det här fallet är det svårt att göra det helt rättvist, antalet svarsalternativ är för många, det måste vara hanterbart.

Opinionsundersökningar problematiska

Dan Hedlin tycker också att opinionsundersökningar om vad väljare tycker är den viktigaste politiska frågan ofta är problematiska därför att just svarsalternativen styr hur resultatet blir.
– Många av de svarskategorier som ges i de här sammanhangen är också besvärliga att ha någon åsikt om, som ”infrastrukturpolitik” till exempel, eller något så stort som ”Sveriges ekonomi” eller ”arbetsmarknadspolitik”, sådana frågor hänger ofta ihop och kan vara svåra att skilja åt.   
Ett alternativ till färdiga svarskategorier, som är bättre, enligt Dan Hedlin, är att ha helt öppna frågor där den som medverkar i undersökningen själv väljer vad han eller hon vill svara.
– Det går sedan att sortera svaren av de som gör analysen, en del institut som arbetar med statistiska undersökningar använder sig av detta, säger Dan Hedlin.

 

Tips om statistik

Vad bör man tänka på när det hänvisas till undersökningar och statistik? Dan Hedlin har några förslag:

  • Undersök vem som är avsändare eller beställare av en undersökning. Är det en organisation eller intresseförening kanske inte den skulle gå ut med resultatet av en undersökning om det inte belyser något som organisationen tycker är viktigt.
  • Vem har producerat undersökningen? Det kan vara skillnad på ett marknadsföretag och på Statistiska centralbyrån (SCB). När det gäller Sveriges officiella statistik finns det 28 myndigheter som ansvarar för statistik inom olika områden. Hos dessa finns det dokumentation att ta del av, men ett marknadsföretag äger inte materialet på samma sätt. Vill inte kunden publicera resultatet av undersökningen gör inte marknadsföretaget det heller.   
  • Vilken metod har använts i undersökningen? Självrekryterande paneler i webbenkäter kan vara problematiska. Ofta är det lätt att gå in och svara på frågorna flera gånger, och vilka är det som svarar? Det kanske framförallt är de som är väldigt aktiva på internet.
  • Vilken information finns det om den så kallade statistiska felmarginalen? Det är viktigt att den redovisas. I en undersökning som till exempel visar hur sympatierna för olika partier har förändrats så kan ökningen för ett parti ligga inom den statistiska felmarginalen.  
  • Det är viktigt att målpopulationen är tydlig i en statistisk undersökning. Det vill säga vem eller vilka siffran eller resultatet i undersökningen handlar om. Handlar det om arbetslösa? Då är målpopulationen Sveriges befolkning mellan 15-74 år.  
  • Hur många studier bygger ett resultat på? Undersök gärna om det finns liknande studier som kommer fram till samma resultat, då ökar trovärdigheten. En studie kanske inte räcker.
  • Var försiktig med att dra för stora slutsatser om sådant som har att göra med relativa risker. Till exempel läser man ibland att vissa grupper i samhället är överrepresenterade i brottsstatistik eller att risken för att få en sjukdom kan öka si eller så mycket om man äter det eller det. Det betyder inte att risken är särskilt stor, även om det kan se ut så. När det gäller relativa tal så jämför man ju en jätteliten risk i en grupp med en jätteliten risk i en annan grupp. Den relativa risken kanske ökar med det dubbla mellan grupperna, från 1 på 1 000 i den ena gruppen till 1 på 500 i den andra, men det betyder fortfarande att risken inte är särskilt stor.

Läs mer

SCB:s statistikguide: https://www.scb.se/dokumentation/statistikguiden/

Mer information på SCB om statistiska felmarginaler: https://www.scb.se/dokumentation/statistikguiden/kvalitet-i-statistiken/felmarginaler/

På denna sida