Logga in på Dagens Nyheter

Här kan du som DN-kund logga in för obegränsad läsning av DN.se och e-DN.

Med ett gratiskonto kan du följa skribenter och ämnen samt spara artiklar.

DN Debatt

”Välgörenhetsorganisationer vet inte om projekt gör nytta”

Det man i regel vill uppnå med hälsoprojekt är långsiktiga effekter över flera år. Inte en enda av de elva undersökta utvärderingarna hade ett upplägg som gjorde att långsiktiga effekter ens kunde bedömas, skriver artikelförfattarna.
Det man i regel vill uppnå med hälsoprojekt är långsiktiga effekter över flera år. Inte en enda av de elva undersökta utvärderingarna hade ett upplägg som gjorde att långsiktiga effekter ens kunde bedömas, skriver artikelförfattarna. Foto: IBL

Ny utvärdering. Välgörenhetsorganisationerna vet alltför ofta inte hur effektiva deras projekt varit. Det är viktigt att insatserna utvärderas väl och att de redovisas öppet på organisationernas hemsidor. Saknas informationen måste vi kräva det. Annars riskerar vår generositet att bli till intet, skriver fyra forskare vid Karolinska institutet.

Svenskar är ett generöst folk när det handlar om att göra livet bättre för behövande människor. Förutom att vi ger till bistånd via skattsedeln lägger vi i genomsnitt mer än 700 kronor per person och år på välgörenhet. Vissa ger mer, andra ger mindre och det är långt ifrån alltid som den egna plånbokens storlek avgör hur generösa vi är. Men vad är allt detta värt om effekten uteblir och livet inte blir bättre för dem man vill hjälpa?

Vi blir med rätta upprörda när alltför mycket pengar går till administrativa kostnader eller när de försvinner i korruption. Exempel på det senare är att vi nyligen har kunnat läsa om den sydafrikanska demokratiorganisation där biståndsmedel från Sida avsedda för ett projekt i Kenya har försvunnit och i SVT programmet Uppdrag Granskning har vi kunnat följa rapporter om liknande problem i Zambia.

Ytterligare en aspekt som borde väcka minst lika stort intresse, men inte diskuteras lika ofta, är de målbilder som välgörenhetsorganisationer frammanar om hur de donerade pengarna kommer mottagarna till glädje. Målsättningar säger nämligen ingenting om huruvida de effekter som eftersträvas verkligen uppnås.

Den centrala frågan som bör ställas är därmed: Utvärderas insatserna på ett så pass säkert sätt att de som donerar medel inte bara KÄNNER att de hjälper sina medmänniskor utan att de också GÖR det?

Vi ska självklart fortsätta att ge, men vi ska sträva efter att ta reda på om organisationerna utvärderar sina projekt eller om de vilar på en solid vetenskaplig grund. Och om dessa data inte redovisas ställa krav på organisationerna att detta ska ske.

Utvärderingar är tidskrävande och kostsamma, men de är nödvändiga för att veta om projekten ger den effekt som man hoppas på. Med en väl genomförd utvärdering skapas också en kunskapsbas som gör att projekt kan bedrivas med en större effektivitet i framtiden. Och en utvärdering som ger sken av framgång men vilar på en skakig kunskapsbas kan vara direkt skadlig för framtida välgörenhetsprojekt.

Den slutsatsen kan vi dra efter att ha analyserat de utvärderingar som elva privata svenska välgörenhetsorganisationer med 90-konto har utfört av sina hälsoprojekt i låginkomstländer under perioden 2010 till 2015 (katastrofhjälp ingick inte bland utvärderingarna). Från början kontaktades 20 organisationer – varav nio – trots minst tre påstötningar – inte skickade sina utvärderingar.

För att bedöma om insatsen haft effekt kan man till exempel utföra en mätning innan studien startar eller ha en kontrollgrupp, för vilka insatsen inte genomförs, att jämföra med. Hos sex av de elva projekten saknades båda dessa kontrollmöjligheter helt.

Om man inte hade tillgång till vare sig bra data från innan en insats startar eller en kontrollgrupp hur kunde man då mäta effekten av insatsen? Genomgående fanns i utvärderingarna en tilltro till enstaka intervjuer där de tillfrågade gav uttryck för vad de trodde om effekter. I vissa fall drogs slutsatser på basis av så kallade ”success stories” det vill säga enstaka exempel på upplevelser av framgång togs som intäkt för att projektet varit lyckosamt. Att utvärdera hälsoprojekt med denna metodologi är omdebatterad. I flera fall fanns det också en brist på objektivitet i rapporterna som gjorde dem direkt vilseledande. Ett exempel är användandet av subjektiva värdeord som ”succé” och ”enastående”.

Vi har stor förståelse för att vissa insatser är svåra och kostsamma att utvärdera. Det är exempelvis betydligt lättare att beräkna hur många barn som vaccinerats än att utvärdera hur många liv som har räddats genom att förebygga infektionssjukdomar. Ett alternativ är att det då föreligger solida data från liknande projekt, som när 1,2 miljoner barn i Mexiko vaccinerades mot virus som orsakar diarré, varvid man vid uppföljningen fann att barnadödligheten i diarré i landet sjunkit med cirka 35 procent, vilket motsvarar cirka 675 räddade liv. Har man så tydliga data från en tidigare väl genomförd studie att luta sig mot är det inte nödvändigt att göra en egen noggrann utvärdering. Men bara tre av de elva projekten redovisade sådan kunskap.

Vår analys visar att välgörenhetsorganisationer alltför ofta har genomfört utvärderingar av en kvalitet som inte räcker för att svara på frågan om hur effektiv insatsen varit. Det man i regel vill uppnå med hälsoprojekt är långsiktiga effekter över flera år, insatser som minskar sjuklighet och död. Inte en enda av de elva undersökta utvärderingarna hade ett upplägg som gjorde att långsiktiga effekter ens kunde bedömas (i detta sammanhang är det värt att hålla i minnet att nio organisationer aldrig skickade in sina utvärderingar).

Är resultaten unika? Det verkar inte så. I en studie, genomförd av en grupp från Helsingfors universitet på välgörenhetsorganisationer från OECD länder, fann man att: ”trots det stora antalet utvärderingar som har genomförts, finns det få rigorösa studier som undersöker förbättringar i livskvalitet hos mottagarna” och i flera fall ”råder det uttalade tvivel om i vilken utsträckning man kan använda sig av de slutsatser som dras” (vår översättning).

Det finns i dag organisationer som bedömer ideella insatsers effektivitet genom att analysera projekt och program som genomförs. Det amerikanska GiveWell och det brittiska Giving what we can är exempel på detta. I Sverige har vi inte kommit lika långt även om organisationer som Social Initiative och Effektiv Altruism har börjat närma sig dessa frågor.

Utvärderingar är en förutsättning för utvecklingsarbete. Om dessa håller låg kvalitet kan de rent av försämra förutsättningarna för bättre insatser i framtiden. Därför är det viktigt att välgörenhetsorganisationer utvärderar sina insatser väl och är tydliga gentemot givarna med att detta görs. Denna information ska också vara transparent och redovisas på organisationens hemsida tillsammans med en egen bedömning av styrkor och svagheter med utvärderingen.

Och för allmänheten lyder uppmaningen att vi självklart ska fortsätta att ge, men att vi ska sträva efter att ta reda på om organisationerna utvärderar sina projekt eller om de vilar på en solid vetenskaplig grund. Och om dessa data inte redovisas ställa krav på organisationerna att detta ska ske. Annars riskerar vi att våra insatser för att göra gott blir till intet.

Bakgrund. Utvärderingen
  • De utvärderingar av hälsoprojekt i låginkomstländer under perioden 2010 till 2015 som analyserats kommer från privata välgörenhetsorganisationer med 90-konto.
  • Från början kontaktades 20 organisationer – varav nio – trots minst tre påstötningar – inte skickade sina utvärderingar.
  • Utvärderingarna var i samtliga fall utförda av externa konsulter.
  • Våra data baseras på en analys av om utvärderingarna uppfyller kriterierna som ledande internationella organisationer använder, där insatserna beskrivs enligt resultatkedjan: input, activities, output, outcome och impact.
  • Utvärderingarna analyserades även efter deras styrkor och begränsningar, enligt en mall som bygger på John Ovretveits bok ”Evaluating Improvement and Implementation for Health” samt OECD/DACs analysverktyg.
DN Debatt. 2 november 2016

Debattartikel

Fyra forskare vid Karolinska institutet:
”Välgörenhetsorganisationer vet inte om projekt gör nytta” 

Repliker

Charlotte Rydh, generalsekreterare för Frivilligorganisationernas Insamlingsråd (FRII):
”Mätning av effekt måste bli självklart”

Företrädare för Effektiv altruism:
”Tio procent av din årsinkomst räddar ett liv”

Caroline Cederlöf, medgrundare Social initiative:
”Effektmätning är inte raketforskning”

Slutreplik från Karolinska-forskare:
”Generositetet stärks av analytiskt tänkande” 

Läs fler artiklar på DN Debatt.

Detta är en opinionstext i Dagens Nyheter. Skribenten svarar för åsikter i artikeln.
Kommentera artikeln
I samarbete med tjänsten Ifrågasätt erbjuder DN nu möjligheten att kommentera artiklar på Ledare, DN Debatt, Kultur, Insidan och Sthlm. Kanske kan du bidra med andra synvinklar och fakta? Håll dig till ämnet och håll en god ton. Visa respekt för andra skribenter och berörda personer i artikeln. Vi tar bort inlägg som vi bedömer är olämpliga.