Ny forskning visar att myndigheter inom näringsdepartementet i hög grad finansierar sina egna utvärderingar och att dessa är mer positiva än utvärderingar som genomförs av oberoende aktörer. Detta är anmärkningsvärt eftersom utvärderingarna i mer än 90 procent av fallen inte håller vetenskaplig kvalitet. En genomgripande förändring av hela utvärderingssystemet är på sin plats.

Resultaten sammanfattas i artikeln ”Utvärderingar av näringspolitik – en intressekonflikt mellan myndigheter, företag, politik och skattebetalare?” som publiceras i Ekonomisk Debatt nummer fyra. Vår studie vidareutvecklar Riksrevisionens vinterrapport som visade att endast tre av 37 utvärderingar inom näringspolitiken höll en tillfredsställande vetenskaplig nivå.

Vi har studerat vem som genomför utvärderingar av närings- och innovationspolitiken i Sverige, samt hur valet av utförare påverkar slutsatserna. Vi finner att en majoritet av utvärderingarna görs av utvärderingskonsulter anlitade av de myndigheter som själva ska utvärderas. Knappt en tredjedel av utvärderingarna genomfördes av tillsynsmyndigheter såsom Tillväxtanalys och Riksrevisionen.

Vi ser ett tydligt mönster: privata konsultföretag ger betydligt oftare positiva omdömen i sina programutvärderingar, jämfört med andra utvärderare. Över 80 procent av konsultutvärderingarna resulterade i positiva utlåtanden och resterande var neutrala.

Vi ser ett tydligt mönster: privata konsultföretag ger betydligt oftare positiva omdömen i sina programutvärderingar, jämfört med andra utvärderare. Över 80 procent av konsultutvärderingarna resulterade i positiva utlåtanden och resterande var neutrala. Utvärderingar gjorda av tillsynsmyndigheter var positiva i endast 36 procent av fallen.

Skillnaderna i omdömen kan ha flera förklaringar. En förklaring kan vara att myndigheterna efterfrågar utvärderingar som framställer verksamheten på ett positivt sätt. I så fall förvanskas den bild av insatserna som kommuniceras till valda makthavare. En annan förklaring kan vara politisk. Riksrevisionen påpekade att regeringen i flera fall återgett resultat till riksdagen med positiva formuleringar som inte stod i proportion till utvärderingen. Ansvariga politiker har naturliga intressen att framställa den bedrivna näringspolitiken i en god dager, vilket kan innebära en press på myndigheter att kommunicera positiva resultat om dessa tillåts självutvärdera sin verksamhet.

Privata konsulters övervikt vid utvärderingar av näringspolitik är i sig ett problem. När konsultföretag konkurrerar med varandra om utvärderingsuppdrag står stora summor på spel. Chansen att vinna en upphandling ökar sannolikt om konsultföretaget är känt för att göra utvärderingar som behagar uppdragsgivaren. Incitamenten styr i så fall utvärderarna till att bli positiva.

Ansvariga politiker har naturliga intressen att framställa den bedrivna näringspolitiken i en god dager, vilket kan innebära en press på myndigheter att kommunicera positiva resultat om dessa tillåts självutvärdera sin verksamhet.

Våra resultat ska dock inte primärt ses som en kritik av företag som genomför utvärderingar. Vi bör inte heller vara förvånade över att myndigheter anlitar konsulter för att ge dem positiva omdömen eller att de utför partiska självutvärderingar. Så länge myndigheter har möjlighet att påverka sina utvärderingar kommer de utvärderingar som görs inte gå att lita på.

Problemet med bristande oberoende i utvärderingar gäller inte bara den studerade sektorn.

Under många år har grundskolan haft problem med betygsinflation. Myndigheter har därför beaktat den internationella Pisaundersökningen som ett bättre sätt att mäta elevers kunskapsnivå, och låtit oberoende forskare vid högskolorna genomföra denna. Den senaste Pisaundersökningen genomfördes för första gången av Skolverket. De brister som uppdagats i genomförandet innebar att resultatet blev alltför positivt.

Universiteten har sedan några år tillbaka fått möjlighet att utvärdera sig själva, med risk för samma sorts förvanskning av verkligheten även inom den högre utbildningen.

Samhället får en mängd problem där rekommendationer till förändring blir svåra att diskutera och argumentera för eftersom mätdata inte går att lita på. I förlängningen försvårar detta möjligheterna att utkräva ansvar av de politiker som är valda att styra samhället.

Exemplen illustrerar ett systemfel där den underliggande kvaliteten är omöjlig att bedöma. Samhället får en mängd problem där rekommendationer till förändring blir svåra att diskutera och argumentera för eftersom mätdata inte går att lita på. I förlängningen försvårar detta möjligheterna att utkräva ansvar av de politiker som är valda att styra samhället. Det finns starka skäl att ifråga­sätta den nuvarande ordningen där myndigheter själva utser och finansierar sina utvärderare, alternativt utvärderar sin egen verksamhet.

Vi ser ett behov av ett antal reformer för att råda bot på den uppkomna situationen:

1 Myndigheter ska inte tillåtas att utvärdera sig själva eller finansiera externa parters utvärderingar av sin verksamhet. Såväl konsulter som forskare är i dag försatta i en beroendeställning där det är omöjligt att vara objektiv.

2 Tillsynsfunktionen behöver stärkas. Den behöver bygga ytter­ligare forskningskompetens internt och få mer resurser för att matcha alla de utvärderingar som myndigheter i dagsläget själva bekostar.

3 Departementen behöver stärkas i förhållande till myndigheterna. Ett sätt att göra detta vore att förlägga tillsynsverksamheten verksamhet inne i ansvarigt departement. Detta skulle stärka departementet och politikerna gentemot de myndigheter som ofta talar i egen sak.

Dagens utvärderingssystem är ur funktion. Utvärderingar av myndigheternas verksamheter går inte att lita på och framstår alltför ofta som partsinlagor. Tilltron till myndigheter och politiker riskerar att försvagas om inte genomgripande förändringar görs. På lång sikt är det ingen som tjänar på bristfälliga beslutsunderlag och undermåliga utvärderingar.