Du följer nu ämnet: STOCKHOLMS STAD (sparas i Mitt DN)
DN Debatt

”Gamla metoder allt sämre på att mäta opinionen rätt”

Motviljan mot okända telefonkontakter är numera betydande. 63 procent av de tillfrågade uppger att de sällan eller aldrig svarar när de blir uppringda av okända nummer på mobiltelefonen, skriver artikelförfattarna.
Motviljan mot okända telefonkontakter är numera betydande. 63 procent av de tillfrågade uppger att de sällan eller aldrig svarar när de blir uppringda av okända nummer på mobiltelefonen, skriver artikelförfattarna. Foto: IBL

DN DEBATT 30/12. Problemen med väljarbarometrar brukar sopas under mattan med hänvisning till statistisk teori och beprövade metoder. Samtidigt har de praktiska problemen vuxit. Det håller inte längre. Tiden är inne för en öppen och pragmatisk diskussion om hur metoderna kan förfinas, skriver Anders Lindholm och Peter Santesson, Demoskop.

Inför valåret 2018 är metodvariationen bland opinionsundersökningarna påfallande stor. Tidigare fanns en stor samsyn i metodvalen. Dominerande branschstandard har varit undersökningar som helt har baserats på telefonintervjuer med ett slumpmässigt befolkningsurval. Eventuella skevheter i urvalet har sedan korrigerats genom att väga resultatet så att olika demografiska proportioner i urvalet motsvarar mycket tillförlitlig befolkningsstatistik: befolkningens fördelning när det gäller exempelvis kön, ålder, utbildningsnivå och partival i senaste riksdagsval.

Samsynen var naturlig eftersom den följer vedertagen statistisk teori. I de allra flesta sammanhang fungerar metoden fortfarande på ett bra sätt i praktiken. Så länge det inte finns några större systematiska bortfall blir det också möjligt att beräkna osäkerhetsmarginaler. Det bör sägas att urvalsundersökningar på det hela taget alltjämt presterar väl och att svenska opinionsundersökningar i internationell jämförelse har en god träffsäkerhet.

Att mäta just parti­opinion är en särskilt känslig uppgift. För väljarbarometrar är och ska kraven vara särskilt höga, och det är framför allt inom det området som debatt har uppstått.

Men att mäta just partiopinion är en särskilt känslig uppgift. För väljarbarometrar är och ska kraven vara särskilt höga, och det är framför allt inom det området som debatt har uppstått. Ett stort antal partier ska mätas och feltoleransen är liten. Enstaka procentenheter eller till och med tiondelar av procentenheter kan ha en avgörande betydelse. Träffsäkerheten i politiska opinionsundersökningar har blivit omdiskuterad i många länder, så även i Sverige. Här är bakgrunden välbekant. Sverigedemokraternas resultat i riksdagsvalet 2014 underskattades systematiskt i alla publicerade telefonmätningar samtidigt som stödet för Miljöpartiet överskattades.

Påverkan på branschen har blivit tydlig. I dag håller inte någon av de månatliga väljarbarometrarna fast vid den ortodoxa modellen. Samtliga månadsmätningar som publiceras har på ett eller annat sätt lämnat den klassiska metoddesignen. Förändringarna varierar mellan väljarbarometrarna. Telefonintervjuer kompletteras med webbintervjuer. Slumpmässiga befolkningsurval kompletteras med intervjuer i respondentpaneler som rekryterats antingen genom tidigare telefonundersökningar eller genom webbplatser. I andra fall kompletteras den tidigare strikta vägningen på befolkningsstatistik med en mer skönsmässig justering för faktorer som bara kan uppskattas med en viss osäkerhet, som exempelvis värderingsmönster.

Det här är metodförändringar som onekligen innebär avvikelser från den klassiska urvalsdesignen med ett rent slumpmässigt stickprov med kända felmarginaler. En puritansk metodkritiker har rätt i sak, men är ändå ute i fel ärende. Det mer pragmatiska förhållningssättet i metodfrågan har blivit nödvändigt därför att den gamla telefondesignen inte längre tycks prestera riktigt lika väl. Det rena telefonbaserade befolkningsurvalets exakthet börjar bli något av en teoretisk modell, medan den faktiska praktiken som måste hanteras ser annorlunda ut.

Många idéer förekommer i diskussionen om telefonintervjuernas för- och nackdelar. Ofta fokuseras på att telefonsamtalen kan innebära en situation där respondenter av olika anledningar kan dra sig för att ge svar som kan upplevas kontroversiella när det gäller känsliga frågor.

Ett mer fundamentalt problem som uppstår i ett tidigare led handlar om vilka som nås i telefonundersökningar och hur bortfallet ser ut. En påtaglig förändring är att den fasta telefonin tappat sin betydelse. I dag nås de allra flesta respondenter via mobiltelefon – exempelvis är andelen mobilkontakter 85 procent i Demoskops telefonundersökningar. Mobiltelefonerna i dag är smarta telefoner där användaren har mycket stora möjligheter att automatiskt filtrera bort oombedda telefon- och sms-kontakter.

Omfattningen av denna ”mörka materia” med respondenter som filtrerar bort kontaktförsök via telefon är av uppenbara skäl inte möjlig att undersöka via telefonundersökningar eller i respondentpaneler som rekryteras via telefonintervjuer. I stället har Demoskop gjort en undersökning av allmänhetens telefonfiltrering i en befolkningsrepresentativ panel som rekryterats via drygt 400 socioekonomiskt stratifierade webbplatser (1.015 onlineintervjuer under november 2017).

Undersökningen indikerar att en relativt stor del av allmänheten i dag är omöjlig eller mycket svår att nå via traditionella telefonundersökningar. Motviljan mot okända telefonkontakter är numera betydande. 63 procent av de tillfrågade uppger att de sällan eller aldrig svarar när de blir uppringda av okända nummer på mobiltelefonen. 29 procent uppger att de har mobilappar installerade som automatiskt blockerar samtal och sms från nummer som identifierats som säljnummer – något som regelmässigt sker med uppringningsnummer som används i telefonundersökningar. Dessa utgör tillsammans en stor dold grupp som systematiskt är mycket svårtillgänglig för intervjuer via mobilen eftersom de inte ens besvarar samtalet.

Men även bland respondenter som lyfter luren är svarsbenägenheten vacklande, ett problem som alla undersökningsföretag brottas med. Att telefonundersökningar har problem med stora bortfall är välkänt. Men undersökningen visar att det finns en stor grupp som mer systematiskt inte kan nås via telefon. Är resultatet representativt för befolkningen som helhet? Det är till naturen svårt att undersöka dem som inte vill låta sig bli nådda. Men eftersom man kan förmoda att personer som är kontaktovilliga per telefon även i större utsträckning är mer kontaktovilliga via andra kanaler än gemene man, bör resultatet från panelundersökningen åtminstone inte innebära en överskattning av gruppen.

Samtidigt illustrerar undersökningen hur mixade metoder kan vara ett delsvar på bortfallsproblemet. En stor del av gruppen som har kunnat nås genom webbpanelen är individer som inte skulle kunna nås via telefon. Men motsvarande mönster skulle högst sannolikt kunna hittas även bland dem som kan kontaktas via telefon. Där finns grupper som skulle vara mycket obenägna att delta i webbpaneler. Genom att kombinera intervjuer som bygger på olika kontaktmetoder kan urvalsfelen sammantaget minska.

Metodproblemen med väljarbarometrar har brukat sopas under mattan med hänvisning till statistisk teori och beprövade metoder. Samtidigt har de praktiska problemen vuxit. Det håller inte. Tiden är inne för en mer öppen och pragmatisk diskussion om hur metoderna kan förfinas. Svaret på de metodproblem som finns kring väljarbarometrarna kommer inte att vara en enskild optimal metod som kan ersätta alla andra. Det som behövs är kombinationer av metoder och ett prövande förhållningssätt där olika verktyg kan komplettera varandra.

DN Debatt.30 december 2017

Läs fler artiklar på DN Debatt.

Detta är en opinionstext i Dagens Nyheter. Skribenten svarar för åsikter i artikeln.
Kommentera artikeln
I samarbete med tjänsten Ifrågasätt erbjuder DN nu möjligheten att kommentera artiklar på Ledare, DN Debatt, Kultur, Insidan och Sthlm. Kanske kan du bidra med andra synvinklar och fakta? Håll dig till ämnet och håll en god ton. Visa respekt för andra skribenter och berörda personer i artikeln. Vi tar bort inlägg som vi bedömer är olämpliga.