Grootschalige Evaluatie van Nederlandse Ontwikkelingshulp – Nederlandse ontwikkelingshulp via niet-gouvernementele organisaties

Auteur: Dr. ir.image001 Marrit van den Berg

Marrit van den Berg is werkzaam als Universitair Docent aan de Wageningen Universiteit. Zij is bovendien Coordinator MFSII landenstudie DR Congo en Senior onderzoeker projectevaluaties MFSII landenstudie Ethiopie

Ongeveer 9% van het totale Nederlandse budget voor ontwikkelingssamenwerking over de periode 2011-2015 wordt besteed via ontwikkelingsorganisaties als Oxfam Novib, ICCO, en Cordaid. In totaal ontvingen 67 zogenoemde medefinancieringsorganisaties €1.9 miljard aan subsidies. Zij besteden dit geld aan het ondersteunen van lokale organisaties bij activiteiten die bijdragen aan het bereiken van de Milleniumdoelen[1]. Om de bestedingen te verantwoorden heeft het ministerie van Buitenlandse Zaken strenge evaluatie-eisen gesteld.

Het doel: evaluaties van wetenschappelijke kwaliteit

Omdat het doen van goede impactevaluaties specialistische kennis vereist en duur is, hebben de medefinancieringsorganisaties besloten de handen ineen te slaan. Dit heeft onder andere geleid tot 8 landenstudies, waarvan projectevaluaties een belangrijk onderdeel zijn. Zowel de landen als de projecten zijn willekeurig gekozen om zo een representatief beeld te krijgen. Om de onafhankelijkheid en de kwaliteit van de evaluaties te waarborgen, zijn de landenstudies individueel uitbesteed via WOTRO Science for Global Development, het internationale ontwikkelingsprogramma van NWO.

Alle geselecteerde onderzoeksteams hebben in het begin en aan het eind van de evaluatieperiode voor elk van de te evalueren projecten gegevens verzameld onder begunstigden en (in vrijwel alle gevallen) onder een vergelijkbare controlegroep. Als deze groepen gelijkwaardig zijn, is de impact van het project gedurende de onderzoeksperiode eenvoudig het verschil tussen de gemiddelde verandering in welzijn van de begunstigen en de controlegroep. Met een meting voor aanvang van het project (0-meting) en een meting na afloop (eindmeting) is dit gelijk aan de volledige projectimpact.

De realiteit

Helaas is de werkelijkheid weerbarstig. Als gevolg van de opgelegde tijdsplanning met veldonderzoek in 2012 en 2014, zijn er voor veel projecten geen echte 0- en eindmetingen gedaan. Dit is een groot probleem voor de evaluatie. Het is bijvoorbeeld waarschijnlijk dat voor een project dat nog ruim een jaar doorloopt na de eindmeting een substantieel deel van de impact gemist wordt.

Ook bij de selectie van de controlegroepen waren problemen. De enige manier om een perfecte controlegroep te genereren is door de begunstigden willekeurig te selecteren uit een groep van potentiele begunstigden. Dit vereist intensieve samenwerking tussen projectuitvoerders en evaluatoren tijdens het projectontwerp. In de huidige evaluatieopzet was dit onmogelijk: in vrijwel alle gevallen waren de begunstigden al geselecteerd voor de evaluatie van start ging. Dit betekent dat naburige gemeenschappen zijn gebruikt als controlegroep, maar die kunnen wel eens niet precies hetzelfde zijn. En hoe weet je dan of de gemeten effecten werkelijk door het project komen of gewoon door al bestaande verschillen? Met econometrische “trucs” kun je dit probleem deels oplossen, maar alleen voor zover de verschillen meetbaar zijn. Helaas weet je niet wat je niet kunt meten en kun je dus nooit volstrekt zeker zijn over de betrouwbaarheid van je impactmeting.

Een laatste probleem waar we tegenaan liepen was de kleinschaligheid en versnippering van veel projecten. Robuuste impactevaluatie vereist grote aantallen. Voor een project dat zes dorpen ondersteunt is het onmogelijk om een goede controlegroep te vinden, zelfs als die dorpen willekeurig geselecteerd kunnen worden. Een vergelijkbaar probleem ontstaat voor een grootschaliger project dat in verschillende dorpen verschillende (combinaties van) activiteiten met diverse doelstellingen onderneemt. De gemiddelde impact op alle doelstellingen is dan al snel verwaarloosbaar en het effect van deelprojecten is lastig te meten.

Lessen voor de toekomst

Inmiddels zijn de individuele landenrapporten afgerond. Uit de rapporten die ik tot nu toe gelezen heb, blijkt dat de uitkomsten wisselend zijn. In veel gevallen waar geen impact gevonden wordt, kan niet worden uitgesloten dat dat (deels) ligt aan de beperkingen van de evaluaties. Momenteel wordt nog hard gewerkt aan een rapport dat de conclusies van de individuele studies samenbrengt. Ik beperk me daarom hier tot de lessen die getrokken kunnen worden voor toekomstige evaluaties.

Kwantitatieve impact evaluaties zijn een krachtig middel om te leren welke typen ontwikkelingsprojecten werken en in welke context dit het geval is. Dergelijke evaluaties zijn echter alleen zinvol als aan bepaalde basisvoorwaarden voldaan is: het te evalueren project bestaat uit één of meer relatief homogene interventies met veel begunstigden; en de uitvoerders zijn bereid om de implementatie (enigszins) aan te passen aan de eisen van een evaluatie. In alle andere gevallen heeft een dure impactevaluatie weinig of geen meerwaarde ten opzichte van de veel goedkopere traditionele evaluaties.

[1] De Milleniumdoelen zijn acht international ontwikkelingsdoestellingen vastgesteld na de Millenniumtop van de Verenigde Naties in 2000 (http://www.un.org/millenniumgoals/).

 

All rights reserved | copyright 2015 | gepubliceerd op: 20-04-2015