Den senaste tiden har vi noterat undersökningar med ofta väldigt uppseendeväckande resultat. En viktig fråga som både mottagare och beställare bör ställa sig är dock om resultaten är korrekta. Som vd på Novus, respektive forskare i statsvetenskap, är vi oroade över hur denna trend skall sluta. Det är hög tid att fokusera på kvaliteten i de undersökningar som produceras och publiceras närapå dagligen.

Vi vill här ge exempel på några aktuella undersökningsresultat vilka förhoppningsvis kan medverka till större fokus på hur undersökningar faktiskt genomförs och vad de därmed i själva verket säger. En felaktigt genomförd undersökning kan generera ett resultat som ger ett missriktat fokus i samhällsdebatten, vilket är mycket bekymmersamt.

Ett första exempel på undersökningarnas bristande kvalitet är Sverigedemokraternas opinionsläge. Detta varierar tämligen systematiskt i olika undersökningar. I somliga instituts mätningar hamnar SD konsekvent högre, i andras lägre. Dessa variationer speglar vilken typ av urval man använt sig av. Ett grundläggande kriterium för att en opinionsundersökning skall vara representativ och tillförlitlig, det vill säga att den speglar den svenska väljaropinionen, är att urvalet är representativt. Urvalet utgör då en miniatyr av befolkningen i sin helhet. Detta erhålls säkrast genom att använda sig av slumpmässiga urval i stället för så kallade självrekryterade urval.

Många webbundersökningar genomförs i dag på självrekryterade urval och inte slumpmässiga. Det innebär att respondenterna själva anmält sig för att delta i undersökningen eller panelen där undersökningen genomförs.

Alternativet är att ta fram ett urval genom att slumpmässigt välja ut en miniatyr av svenska folket som ombes att svara på frågorna.

Självrekryterade urval (panel) är billigare och enklare att skapa men ökar risken att urvalet är skevt, det vill säga att det är över- eller underrepresenterat av någon eller några grupper och alltså inte speglar befolkningen i sin helhet. En ytterst viktig fråga är självklart vilka som anmäler sig till dessa paneler.

Under hösten jämförde Novus ett antal undersökningsföretags paneler, både självrekryterade och slumpmässiga. Bland annat tittade vi på hur många liknande paneler en och samma deltagare är med i. En upptäckt var att de personer som uppger att de röstade på SD i valet 2010 anger att de ingår i flera olika självrekryterade paneler i en högre utsträckning än andra grupper. SD-väljare är således överrepresenterade i självrekryterade paneler, vilket också visat sig i dessa undersökningars resultat.

För att en väljarundersökning skall vara tillförlitlig måste således urvalet baseras på representativitet och obunden slumpmässighet.

Ett annat exempel är sajten Familjelivs undersökning, där man kom fram till att nästan varannan kvinna ville vara hemmafru. Detta fick ett stort genomslag i medierna, allt ifrån genusforskare till statsministern fick kommentera mätningen. Fokus i debatten hamnade på de traditionella könsskillnaderna och huruvida vi har en tillbakagång i svensk jämställdhet. Studien var genomförd bland Familjelivs medlemmar, att hävda att detta är representativt för svenska kvinnor är högst tveksamt. Svaren är säkerligen representativa för Familjelivs egna medlemmar, och de som här valt att besvara enkäten (vilket sannolikt är de som är just hemma) men att dra några större växlar än så är omöjligt.

Vi på Novus reagerade på detta urval och ställde samma fråga till ett slumpmässigt urval av svenskar. Vi kunde se ett helt annat, och på många sätt mer intressant resultat. Bland de 1.000 intervjuer Novus genomförde svarade 29 procent av kvinnorna och 27 procent av männen att man ville vara hemmafru/-man, det vill säga ett betydligt mer jämlikt samhälle än i Familjelivs mätning.

Vi har här fokuserat på frågan om urval – en grundläggande men förvånansvärt negligerad fråga då det handlar om att kunna dra vetenskapligt hållbara slutsatser. Andra centrala aspekter för att en undersökning skall vara tillförlitlig är deltagarfrekvens, bortfall, frågeformulering samt när i tiden mätningen sker.

Opinionsinstituten verkar i en förtroendebransch där det är av högsta vikt att undersökningarna är metodologiskt hållbara, neutrala och korrekta. Även mottagare och beställare av undersökningar måste bli betydligt mer kritiska i sin granskning av hur de har genomförts.

Ett undersökningsföretag skall inte påverka opinionen, bara mäta den.

Torbjörn Sjöström, vd Novus Group
Jenny Madestam, fil dr statsvetenskap, Stockholms universitet