Logga in på Dagens Nyheter

Här kan du som DN-kund logga in för obegränsad läsning av DN.se, e-DN och DN.Prio.

Med ett gratiskonto kan du följa skribenter och ämnen samt bokmärka artiklar.

Hej !
Mitt DN Ämnen jag följer Sparade artiklar Kundservice Logga ut
DN Debatt

”Pisarapporten säger inget om vad som fungerar väl”

Övertolkad undersökning. Pisastudien är ett fyrverkeri av korrelationer som i slutändan inte säger någonting om de bakomliggande orsakssambanden. Dessa är betydligt mer komplicerade än vad Pisa kan visa. Att basera politik på rapporten kan faktiskt vara direkt skadligt, skriver tre ekonomiforskare.

I början av december förra året uppdagades att svenska elever fortsätter att falla som stenar i den internationella undersökningen Pisa. Sedan dess har förklaringarna duggat tätt. Vissa skyller på skolvalet, andra på flumskolan. Politiker skyller på varandra. I debatten hörs samtidigt krav på att vi bör anamma ett tillvägagångssätt av ”best practice” och kopiera framgångsrecept från andra länder. Många anser att metoder som har förbättrat exempelvis Polens och Tysklands prestationer också bör införas i Sverige.

Till grund för förslagen ligger ofta ett kapitel i OECD:s Pisarapport som sägs förklara varför vissa utbildningssystem presterar bättre än andra. Detta kan synas rimligt. För nog borde rapporten som rankar länderna även ha svar på vad som förklarar deras framgångar och misslyckanden?

Men tyvärr är det inte så enkelt. Kapitlet i fråga består i stort sett av enkla korrelationsanalyser. Men bara för att det finns ett statistiskt samband behöver det inte finnas ett orsakssamband. Detta påpekas också av författarna. Att basera politik på rapporten är därför ett steg ut i det okända och kan faktiskt vara direkt skadligt för resultaten. Utbildningspolitiska särdrag som är positivt relaterade till länders prestationer kan i själva verket ha en negativ effekt, och särdrag som är negativt relaterade till länders prestationer kan i själva verkat ha en positiv effekt. För att avgöra vad som orsakar vad krävs långt bättre metoder än de som används i OECD:s rapport.

Ett exempel på hur fel det kan bli gäller skolvalets och konkurrensens effekter. I Pisarapporten läser vi att det inte finns någon relation mellan länders resultat och andelen elever i fristående skolor. Samma slutsats dras av Andreas Schleicher, vice chef för utbildningsfrågor vid OECD, som nyligen hävdade att avsaknaden av en sådan relation visar att konkurrens inte ökar elevers prestationer. Svenska pedagoger och debattörer på vänsterkanten har tagit ett steg längre och hävdat att skolvalet ligger bakom kunskapsfallet i internationella undersökningar. En av dessa är Magnus Oskarsson, projektledare för Pisa i Sverige, trots att huvudorganisationen OECD alltså inte finner något stöd för detta.

Samtidigt motsägs båda dessa påståenden av den nationalekonomiska skolforskningen. I den mest övertygande studien, publicerad i Economic Journal, finner Martin West vid Harvarduniversitetet och Ludger Woessmann vid Münchens universitet att friskolekonkurrens förbättrar länders prestationer i Pisa. Elever i offentliga och fristående skolor tjänar lika mycket på konkurrensen, som också leder till lägre kostnader. Forskningsmetoderna som används är inte helt invändningsfria, men de är långt mycket bättre än de som används i OECD:s egna analyser.

Ett annat exempel gäller skolautonomi. I OECD:s rapport står det att autonomi kombinerat med ansvarsskyldighet har en positiv påverkan på elevers prestationer, medan autonomi utan ansvarsskyldighet i stället har en negativ effekt. Denna slutsats nås med något bättre metoder. Men den akademiska Pisaforskningen visar återigen andra resultat. I den starkaste studien, publicerad i Journal of Development Economics, finner Eric Hanushek vid Stanforduniversitetet med flera att autonomi i sig har en positiv effekt i industriländer, men att den förstärks av ansvarsskyldighet. Samtidigt har skolautonomi faktiskt en negativ påverkan i utvecklingsländer, ansvarsskyldighet eller inte. Utvecklingsländer som tar OECD:s analyser på allvar riskerar alltså att bli vilseledda.

Detta är endast två exempel. Pisarapporten är i princip ett fyrverkeri av korrelationer som i slutändan inte säger någonting om de bakomliggande orsakssambanden. Samma sak gäller mer generella hänvisningar till vad som kännetecknar hög- och lågpresterande utbildningssystem, vilket Skolverket i sin egen rapport menar kan vara en strategi för att dra lärdomar och vända den negativa utvecklingen. För även om högt rankade länder har vissa särdrag är det omöjligt att veta om dessa har orsakat, förhindrat eller varit irrelevanta för deras framgångar. Faktum är att de flesta särdrag i högpresterande utbildningssystem återfinns även i lågpresterande länder och vice versa. Debattörer kan därför betona de metoder de föredrar eller inte föredrar och sedan hävda att det är just dessa som genererar goda respektive dåliga resultat. Vår enkla poäng är att dessa anekdoter inte har något bevisvärde alls.

Finland illustrerar tydligt vådan i att välja ut ett framgångsexempel och lyfta fram landets skolpolitik som ett föredöme. Så länge Finland befann sig i toppen av Pisa var en sådan argumentation retoriskt slagkraftig även om ingen förstod varför finska elever presterade bra. När Finland sedan föll tillbaka i den senaste Pisarankningen fungerar exemplet inte längre – annat än för att visa hur lite ”den finska hejaklacken” hade på fötterna.

Varför fortsätter då debattörer och politiker att hänvisa till OECD-rapporten och hög- och lågpresterande länders särdrag i sina förslag till reformer? En anledning är att de troligtvis inte vet bättre. Analyser av forskning kräver först och främst en förståelse för vad som är bra och vad som är dåligt – och rigorösa studier, i nationalekonomi och andra ämnen, är tyvärr inte speciellt lättfattliga.

Samtidigt tar det också tid att fördjupa sig i vad många anser vara tråkiga och komplicerade analyser av data. Det går snabbare och är roligare att läsa enkla beskrivningar av resultaten och titta på grafer än att studera metodologi och regressionstabeller. Men det senare är nödvändigt för att komma åt orsakssambanden.

Det är förståeligt att politiker söker med ljus och lykta efter en lättfattlig bibel som visar hur skolan bör reformeras. Men varken OECD:s rapport eller någon annan studie som noterar särdrag i hög- och lågpresterande länder är den bibel som de letar efter. Ju förr politikerna inser detta, desto bättre.

Detta är en opinionstext i Dagens Nyheter. Skribenten svarar för åsikter i artikeln.