Vi använder cookies för att förbättra funktionaliteten på våra sajter, för att kunna rikta relevant innehåll och annonser till dig och för att vi ska kunna säkerställa att tjänsterna fungerar som de ska.

Läs mer

En utskrift från Dagens Nyheter, 2019-12-12 06:02

Artikelns ursprungsadress: https://www.dn.se/debatt/nu-slutar-vi-mata-valjarnas-partisympatier-via-telefon/

DN Debatt

DN Debatt. ”Nu slutar vi mäta väljarnas partisympatier via telefon”

Av ett slumpmässigt befolkningsurval saknas telefonnummer till 20 procent. Ytterligare 34 procent har fel nummer, svarar inte eller så når man en telefonsvarare. Och i vissa fall finns språk- eller hörselproblem, skriver artikelförfattarna. Foto: Claudio Bresciani/TT

DN DEBATT 15/11. Under två år har vi kombinerat telefonintervjuer med en onlinerekryterad webbpanel. Visserligen blev vår barometer den mest träffsäkra, men i riksdagsvalet visade det sig att vårt kvarstående inslag av telefonintervjuer försämrade träffsäkerheten. Slutsatsen är att vi nu överger telefonintervjuer som metod i väljarbarometern, skriver företrädare för Demoskop.

Tillförlitligheten i opinionsundersökningar diskuteras ständigt. Resultaten kan få stor politisk betydelse. Särskilt känsliga är väljarbarometrarna som följer utvecklingen av partisympatierna. Flera faktorer gör att tillförlitligheten ifrågasätts. Allmänhetens kommunikationsvanor förändras snabbt samtidigt som viljan att delta i undersökningar i dag är historiskt låg och sjunkande. Det finns också tecken på att man ibland drar sig för att svara uppriktigt på frågor om partisympatier.

För knappt två år sedan genomförde Demoskop parallellmätningar med olika urvals- och insamlingsmetoder. Traditionella telefonintervjuer baserade på ett slumpmässigt befolkningsurval (så kallat sannolikhetsurval) metodtestades tillsammans med flera olika typer av onlinepaneler. Vi kunde samtidigt konstatera att allmänhetens vana att inte svara på samtal från okända nummer på mobiltelefoner hade tillkommit som ett problem för telefonundersökningar som allt oftare ringer på mobilnummer (DN Debatt 30/12 2017). Det var dessutom känt att telefon inte är en ideal datainsamlingsmetod om frågor kan uppfattas som känsliga. Slutsatsen då blev att telefonintervjuer behövde kompletteras med webbaserade intervjuer. Tack vare den metodrevisionen blev Demoskops väljarbarometer den som kom närmast resultatet i riksdagsvalet 2018.

Förutsättningarna för opinions­undersökningar fortsätter att förändras. Därför har Demoskop genomfört ett nytt metodtest av olika undersökningsmetoder. Två olika leverantörer av telefonintervjuer, som båda används i välkända väljarbarometrar som publiceras i riksmedier, har parallelltestats med två onlinepaneler som har olika källor. Vidare har vi uppdragit åt en branschledande leverantör av urval att försöka ta fram telefonnummer till ett slumpmässigt befolkningsurval. Vi har också upprepat 2017 års undersökning av allmänhetens benägenhet att inte svara på samtal från okänt nummer.

Vårt metodtest visar att det fortfarande finns svårigheter med att korrekt skatta SD-sympatier via telefonintervjuer. Efter att ha vägt för skevheter i urvalen underskattar telefonundersökningar andelen SD-väljare i föregående val med cirka 4 procentenheter.

Bortfall kan vara en allvarlig felkälla. Vårt metodtest visar på ett betydande bortfall i telefonmätningarna. Av ett slumpmässigt befolkningsurval saknas telefonnummer till 20 procent av de utvalda personerna. Därefter är det ytterligare 34 procent av urvalet som man inte lyckas komma i kontakt med: fel nummer, ingen svarar, man når bara en telefonsvarare, i vissa fall finns språk- eller hörselproblem. Innan man har fått kontakt med urvalspersonerna har 54 procent av det ursprungliga urvalet redan fallit bort. Av de återstående 46 procent där man får kontakt är det närmare hälften, 20 procentenheter, som inte vill bli intervjuade. Av det ursprungliga urvalet är det i slutänden 26 procent där man kan genomföra en intervju (1.000 telefonintervjuer, slumpmässigt allmänhetsurval, genomförda 9–16 oktober 2019). Det som från början var ett slumpmässigt urval är det till slut inte längre om det finns systematik i bortfallet.

Bortfallssiffran kan dessutom vara i underkant. I det separata försöket att nummersätta urval, där Demoskop har haft full insyn i urvalet, var bortfallet markant större. Där saknades telefonnummer till 34 procent av urvalet, och bortfallet var särskilt stort bland yngre. I åldersgruppen 18–38 år saknades nummer till hela 46 procent av de utvalda.

Med så höga bortfall blir undersökningar känsliga för om olika grupper är systematiskt lättare eller svårare att komma i kontakt med. Särskilt känsligt blir det om det finns en åsiktssystematik i bortfallet, det vill säga ett samband mellan de åsikter man vill undersöka och sannolikheten för att man deltar i undersökningen. Demoskops analys av oviljan att svara på samtal från okänt nummer tyder på att det kan finnas en sådant samband.

Att undersöka kontaktovillighet har uppenbara metodsvårigheter och resultaten bör tolkas försiktigt. Men undersökningen indikerar att ovilja att ta samtal från okända nummer är utbredd och ökar. I dag uppger tre av fyra i en onlineundersökning att de sällan eller aldrig svarar på okända nummer. Andelen har ökat med 12 procentenheter de senaste två åren. 29 procent uppger att de aldrig svarar på okända nummer.

Screening av okända nummer ser ut att variera med åsikter. Det är vanligare om man står längre till höger (röstar på M, KD eller SD) eller längre till vänster (röstar på V) än när man röstar på något av januaripartierna (S, C, L och MP). Andelen som aldrig svarar på okända nummer är 10 procentenheter högre bland SD:s väljare (33 procent) än bland januaripartiernas (23 procent).

Ett sätt att utvärdera alternativa metoder för en väljarbarometer är att analysera hur väl man lyckas reproducera resultatet av det senaste riksdagsvalet i undersökningen. Om man gör en urvalsundersökning som är helt utan andra fel än det som uppstår för att man undersökt ett urval och inte hela populationen, dvs alla uppgiftslämnare medverkar, minns rätt och svarar sanningsenligt, skulle svaren på frågan om vad man röstade på i det senaste valet ge ett resultat som speglade det verkliga valresultatet.

Så ser det aldrig ut. Dessa andra fel är ofrånkomliga, och storleken på dem ger en indikation på hur stora mätfelen är med olika metoder. Vårt metodtest visar att det fortfarande finns svårig­heter med att korrekt skatta SD-sympatier via telefonintervjuer. Efter att ha vägt för skevheter i urvalen underskattar telefonundersökningar andelen SD-väljare i föregående val med cirka 4 procentenheter. Motsvarande siffra för onlinepanel visar en relativt blygsam underskattning (–0,5 procentenheter). De sammanlagda avvikelserna mot föregående val är större i båda de testade telefonmätningarna jämfört med onlinepanel.

Bland praktiker som dagligen arbetar med telefonundersökningar är felen välkända, men de diskuteras sällan offentligt och konkret. Under två år har Demoskop kombinerat telefonintervjuer med en onlinerekryterad webb­panel. Visserligen blev vår barometer den mest träffsäkra, men i riksdagsvalet visade det sig att vårt kvarstående inslag av telefonintervjuer försämrade träffsäkerheten marginellt. Slutsatsen för Demoskops del efter denna utvärdering är att nu överge telefonintervjuer som metod i väljarbarometern, främst på grund av bortfall och vissa mätfel.

I takt med att kommunikationsvanor förändras och viljan att svara på undersökningar minskar blir metodfrågor allt svårare. Det finns också betydande kvalitetsskillnader mellan olika metoder. Det vore därför felaktigt att påstå att en metod är överlägsen en annan. Det som krävs är att fortsätta utvärdera hur dessa presterar i svenska sammanhang och att offentligt redovisa resultaten. På det sättet kan vi öppna för en konstruktiv och transparent metoddiskussion. Det här är vårt försök att bidra till den.