Sverige

Därför kan Pisa-testet vara missvisande

• Stora brister. Pisa-undersökningen, som mäter 15-åringars kunskaper i olika skol­ämnen, har stora brister. Resultatet kan vara missvisande, visar en omfattande data­körning som Dagens Nyheter har gjort.

• Elevernas svar. DN har identifierat enskilda elevers provresultat. Många svarar inte ens rätt på varannan fråga, trots att de presterar bra på nationella prov och har bra betyg.

• Nationella prov viktigare. Under samma period som Pisa skrevs genomförde svenska elever 12 nationella delprov. Ett hundratal elever berättar för DN att de var ”provtrötta” och omotiverade att göra Pisa-testet eftersom det inte var betygsgrundande.

En högstadieskola i centrala Falun, en onsdag i mars för två år sedan. Jesper Palmqvist, 15 år, är på tillfälligt besök tillsammans med 27 klasskamrater.

Det är en speciell skoldag. Eleverna går egentligen i en grundskola i samhället Bjursås som ligger två mil härifrån. I dag har de åkt till Falun för att skriva ett ovanligt prov. Det är anonymt. Inte betygsgrundande. Och ingen får reda på resultatet, inte ens skolan.

”Gör ert bästa, men ni behöver inte ta det så seriöst. Det påverkar inte er”, ska läraren ha sagt enligt flera elever.

Många är skoltrötta. Om två månader är det avslutning och de senaste veckorna har dominerats av nationella prov – skrivningar från Skolverket som har stor betydelse för betygen och framtiden.

Dagens prov har också stor betydelse, men inte för deltagarna. Provet är det så kallade Pisa-testet som mäter svenska 15-åringars kunskaper på ett urval av landets skolor. Resultatet ska komma att få stor uppmärksamhet.

Dagens Nyheter har med hjälp av omfattande databearbetning kunnat koppla Pisas provhäftessvar till flera enskilda elever och skolor. På så sätt har vi kunnat jämföra elevernas prestationer med när de skriver nationella prov. Vi har gjort stickprov på 50 av de 209 skolor som deltog. Sammanlagt motsvarar det 1 250 elever.

DN:s granskning visar att Pisa-undersökningen inte alltid speglar verkligheten. Ett stort antal elever svarar inte ens rätt på varannan fråga, trots att de presterar bra i sina nationella prov och har högre betyg.

Jesper Palmqvist är en toppelev på skolan i Bjursås. I de nationella ­proven i matematik i årskurs nio fick han mycket höga poängresultat och han fick högsta betyg, MVG. Han har höga betyg i de flesta ämnen, men är särskilt bra i just matematik.

Men i Pisas matematikdel fick han bara rätt på var tredje fråga. Det är ungefär samma resultat som de andra eleverna på hans skola.

– De nationella proven är helt galna – de tar mycket energi av oss elever. När vi nu fick ytterligare ett prov som dessutom inte var betygsgrundande fick vi känslan av att det inte var så viktigt. Det var många som inte tog det på allvar – och man blir påverkad av andra, säger Jesper Palmqvist, som nu har hunnit fylla 17 år.

DN har intervjuat 113 elever som skrev Pisa-provet och som fick MVG i matematik. De flesta ger ungefär samma svar. 102 elever berättar att de skrev provet högst ofrivilligt ­eftersom det inte påverkade deras betyg. De säger att de inte tog ­provet seriöst och att de inte gjorde sitt bästa. En del berättar om hur klasskamrater fyllde i prov­formulären slumpmässigt. Många berättar om lärare som sagt att provet inte är ”särskilt viktigt”. Bara ett fåtal elever säger sig ha varit motiverade.

– Jag tog det ganska oseriöst. Varför ska just jag behöva göra ett prov helt i onödan? Den enda belöningen vi fick var en pizza, säger Hanna, som fick MVG i matematik, men hade fel på varannan fråga i Pisa-provet.

Utvärderingen av proven presenterades i vintras och blev en kalldusch för svenskt skolväsende. Sverige är det OECD-land som försämrat sina resultat mest under de senaste tio åren. Resultatet har satt dagordningen för den politiska debatten.

DN:s granskning visar flera anmärkningsvärda svarsmönster i Pisa. Engelska skolan i Bromma i Stockholm, en av de deltagande skolorna, har många högpresterande elever. Ungefär var fjärde niondeklassare fick det högsta betyget, MVG, i de nationella proven i matematik år 2012. Över hälften fick MVG i matematik i avgångsbetygen. Men deras resultat i Pisa-provet, som DN kunnat ta fram, är högst medelmåttigt. I snitt skrev eleverna rätt på 47,5 procent av mattefrågorna. Det kan jämföras med Fors­hedaskolan i Värnamo där motsvarande snittpoäng på Pisa-testet var 47,9 procent rätt. Här fick bara 4,2 procent av eleverna MVG i de nationella proven, alltså betydligt färre. Var sjunde elev blev underkänd.

Ytterligare några exempel:

På Frida­skolan i Trollhättan fick 15,5 procent av eleverna MVG på de nationella proven i matematik. Skolans elever skrev däremot bara i snitt 44,8 procent rätt på Pisa-provet.

På Fäladsgården i Lund fick 26,4 procent av eleverna MVG i nationella provet i matematik. Skolans elever hade i snitt 37,5 procent rätt på Pisa-provet.

På Sandeplanskolan i Vellinge fick 16,7 procent av eleverna MVG i mattebetyg. Skolans elever hade i genomsnitt 39,9 procent rätt på Pisa-provet.

Det finns alltså flera fall där skolor med många högpresterande elever har mycket dåliga Pisa-resultat.

Testet är förvisso något svårare än de nationella proven, men det är långtifrån omöjligt att få alla rätt. I DN:s granskning hittar vi även elever på vissa skolor som har fått mycket höga Pisa-resultat och som har känt sig motiverade. En del har svarat rätt på i stort sett alla frågorna.

Det är inte alla niondeklassare på skolorna som skriver provet. En förklaring till att flera skolor med högpresterande elever har fått dåliga Pisa-resultat skulle alltså kunna vara att urvalet inte har varit representativt. Men de låga resultaten går igen hos flera skolor som normalt presterar bra i prov- och betygssammanhang.

Skolverket har i sin svenska Pisa-rapport reagerat på att antalet överhoppade provuppgifter för svenska elever i Pisa har ökat.

Bilden av Sveriges resultat i Pisa är på flera sätt motstridig. Den dramatiska förändringen de senaste tio åren åter­speglas inte i resultaten på de nationella proven. De senaste åren har elevernas resultat tvärtom förbättrats. Samtidigt ökar merit­värdena, alltså de samlade betygsvärdena.

Utifrån DN:s granskning går det inte att slå fast att Sveriges sjunkande resultat i Pisa beror på att eleverna har varit omotiverade. Proven ser likadana ut i alla deltagande länder. Inte heller där är resultaten betygsgrundande.

Det finns dock skillnader. DN:s intervjuer med elever som deltog i Pisa visar att de allra flesta vid provtillfället ansåg sig vara ”mycket provtrötta” och att de därför inte satsade fullt ut på ett prov som inte var betygsgrundande. Det finns fakta som till viss del belägger deras uppfattning. Sverige är ett av de OECD-länder som har flest nationella prov.

Sverige är också ett av de länder där antalet prov dessutom har ökat sedan 2003 – från 10 till 12 år 2012. De har dessutom blivit mer omfattande. De elever som går i nian nu skriver ännu fler nationella prov: 14 stycken.

Under samma period som Pisa skrevs genomförde svenska elever 12 olika nationella delprov i ämnena svenska, engelska, matematik och NO (biologi, fysik eller kemi). Dessa utfördes under loppet av några månader. Vad eleverna presterar på proven kan vara avgörande för deras chanser att komma in på sina förstahandsval på gymnasiet. Mitt i provperioden skrev eleverna Pisa-provet.

DN har varit i kontakt med ett 80-tal rektorer. Majoriteten beskriver sina elever som ”provtrötta” och att det var svårt att motivera dem att skriva Pisa.

– Jag pratade med gruppen som genomförde undersökningen strax innan de skulle sätta igång med provet. De var omotiverade och ifrågasatte varför de skulle göra provet då de inte fick reda på resultatet och provet inte hade någon betydelse för deras betyg, säger Anna Carlsson, rektor på Ilanda­skolan i Karlstad.

Har du erfarenheter av Pisa-provet på din skola? Maila till pisa@dn.se.

Dessa stora prov skrev Pisa-­eleverna våren 2012:

Nationella prov:

Engelska delprov A (muntlig uppgift)

Engelska delprov B (läs- och hörförståelse)

Engelska delprov C (skrivuppgift)

Matematik delprov A (muntlig uppgift)

Matematik delprov B1 (prov med korta svar)

Matematik delprov B2 (problemlösning)

Matematik delprov C (reflektion och tolkning)

Svenska ­delprov A (läsförståelse)

Svenska ­delprov B (muntlig uppgift)

Svenska delprov C ­(skrivuppgift)

NO (biologi, fysik eller kemi), praktiskt delprov

NO (biologi, fysik eller kemi), teoretiskt delprov

Dessutom:

Pisa-provet

Fakta. Så gjordes jobbet
Granskningen

DN har granskat Pisa-undersökningen år 2012.

Vi har gjort ett stickprov på 50 av de 209 skolor (sammanlagt 1 250 elever) som deltog i Pisa-undersökningen år 2012. Vi har kopplat ihop resultaten på skolnivå med de nationella proven i matematik. Flera skolor har överraskande svarsmönster. En del skolor med många högpresterande elever får mycket låga resultat. Många enskilda elever som har höga betyg har inte ens fått hälften rätt i Pisas matematikprov.

Vi har gjort telefonintervjuer med 113 elever som skrev Pisa-provet och som fick MVG i de nationella proven i matematik. 102 elever berättar att de inte var motiverade när de skrev Pisa eftersom det inte påverkade deras betyg.

Vi har granskat omständigheter i samband med att Pisa-provet skrevs. Pisa skrevs i mitten av mars 2012. Det var mitt under den period som många elever skrev nationella prov. Antalet ­nationella prov har ökat de ­senaste åren.

Reportern

Kristoffer Örstadius är reporter på Dagens Nyheter och ­specialiserad på databas­journalistik. Han fick journalistpriset Guldspaden tidigare i år för sin granskning av den svenska skolan.

Chatta med reportern

Ställ dina frågor till reportern Kristoffer Örstadius som gjorde granskningen i dag kl 10 på dn.se.

Bakgrund.

Pisa är en kunskapsmätning bland 15-åriga elever som genomförs vart tredje år. Projektet är initierat av och styrs av OECD.

Alla 34 OECD-länder deltar i undersökningen och dessutom erbjuds andra länder att delta. Den senast publicerade undersökningen genomfördes år 2012. Resultatet släpptes i vintras. Provet ser likadant ut i alla länder och genomförs samtidigt. Ett slumpmässigt urval av elever och skolor genomför provet.

Elevernas förmågor undersöks inom tre kunskapsområden: ­matematik, naturvetenskap och läsförståelse. Från Sverige var det knappt 4 700 15-åringar ­fördelade på 209 skolor som besvarade ­frågorna år 2012.