Editie 19 | April 2015

NIEUWE UITDAGINGEN VOOR IMPACTMETING VAN ONTWIKKELINGSSAMENWERKING

De laatste jaren is het steeds gebruikelijker geworden om aan programma’s en projecten voor ontwikkelingssamenwerking de vraag te stellen naar de effectiviteit van interventies. Wat heeft het opgeleverd (voor de deelnemers in het programma), wegen de resultaten op tegen de gemaakte kosten (efficiency) en welke activiteiten zijn van vitaal belang gebleken om het beoogde effect te bereiken?

In mijn tijd als directeur van de Inspectie Ontwikkelingssamenwerking en Beleidsanalyse (IOB) van het Ministerie van Buitenlandse Zaken ben ik in de gelukkige omstandigheid geweest om robuuste en onafhankelijke methoden van impactmeting verplicht te stellen voor grotere ontwikkelings­programma’s. Zo zijn grote bilaterale programma’s voor begrotingssteun, projecten van Nederlandse niet-gouvernementele organisaties (NGOs) die financiering ontvangen uit het Medefinancieringsstelsel (MFS-II) en private sectorprogramma’s (Publiek-Private Partnerschappen) van organisaties als de Financieringsmaatschappij voor Ontwikkelingslanden (FMO) en de Rijksdienst voor Ondernemend Nederland (RVO) aan een nieuw regime van effectenanalyse onderworpen. Zelfs een organisatie als Oxfam-Novib – in het begin toch een fervent criticaster van impactmeting – blijkt nu haar eigen manier te hebben gevonden om hieraan vorm te geven.

Uit de bijdragen in dit themanummer van Versvak moge blijken dat impactmeting in de praktijk lang niet eenvoudig is, en ook niet overal goed verloopt. Daarvoor zijn een aantal oorzaken aan te wijzen, die deels voortkomen uit de gebrekkige manier van voorbereiding van ontwikkelingsprogramma’s (bijv. het ontbreken van heldere resultaatketens en interventielogica), en anderzijds veroorzaakt worden door het beperkte begrip van de motieven en drijfveren van de mensen om wie het gaat.

            Quality at Entry

Ontwikkelingsprogramma’s worden vaak opgezet zonder dat er sprake is van een heldere interventie­theorie (welk doel beoogt men te bereiken?) en een uitgewerkte ‘theory of change’ (hoe wil men dat doel bereiken?). Daardoor zijn veel projecten opgezet vanuit torenhoge verwachtingen en onrealistische pretenties. De eerste en kritieke fase van goed effectenonderzoek bestaat er dan ook uit om de causale relatie tussen de inzet van middelen (inputs) en de verwachte resultaten (outcome) te reconstrueren. De meeste bijdragen in deze bundel beogen op dit terrein van ‘quality at entry’ meer diepgang te bereiken.

            Nulmetingen

“Helaas is de werkelijkheid weerbarstig” schrijft Marrit van den Berg (Ontwikkelingseconoom bij Wageningen Universiteit) in haar bijdrage. Ontwikkelingsprogramma’s beginnen vol enthousiasme, maar vergeten vaak de beginsituatie goed in kaart te brengen. Zonder nulmeting wordt het moeilijk om effecten vast te stellen. Ook het vinden van een goede controlegroep – in vaktermen de zogenaamde ‘counterfactual’ – stuit op veel praktische problemen. Evaluatoren zouden graag een willekeurige selectie van deelnemers zien, maar de meeste ontwikkelingsprogramma’s hebben juist een scherp gedefinieerde doelgroep in gedachten. Er zijn wel redelijk goede ‘econometrische trucs’ om te controleren voor dit probleem van zelfselectie, maar het blijven altijd kunstgrepen.

            Theory of Change

De ervaringen van Oxfam Novib met het World Citizens Panel die worden beschreven door Peter Huisman, Anne Oudes en Rik Linssen laten zien hoe belangrijk het is dat impact evaluaties beginnen met het opstellen van een duidelijke veranderingstheorie. Ook Geske Dijkstra betoogt dat de evaluaties van macrobeleid, zoals het verlenen van begrotingssteun, beogen de beleidstheorie te toetsen. Dat is niet iets dat alleen van achter een bureau kan gebeuren. Partnerorganisaties worden betrokken bij het onderzoeksdesign, het formuleren van indicatoren, de dataverzameling en de interpretatie van de resultaten. Er zijn ook verschillende momenten ingebouwd waarin de uitkomsten met partners worden besproken. Soms staat deze directe participatie van de doelgroep wel eens op gespannen voet met de eis van onafhankelijke evaluatie, maar daarvoor kunnen praktische oplossingen worden gezocht.

            Normen & Gedrag

De effectiviteit van veel ontwikkelingsinterventies wordt mede bepaald door de interactie met heersende sociale normen. Thomas de Hoop laat zien dat participatie van vrouwen in zelfhulpgroepen in India de kans verhoogt dat vrouwen meer vrijheid verwerven om zonder toestemming van hun man naar de dokter of de markt te mogen gaan. Interviews laten echter ook zien dat deze vrouwen veel weerstand moeten doorstaan om deze vrijheid te claimen. Participatie in zelfhulpgroepen kan zelfs leiden tot een afname van geluk voor vrouwen in dorpen met conservatieve normen op emancipatiegebied. Slechts weinig programma’s blijken in staat om deze sociale normen zelf te doen veranderen. Evaluaties zouden er goed aan doen zich meer te richten op de verificatie van dergelijke assumpties over gedragsreacties (zie ook het World Development Rapport 2015 ‘Mind, Society and Behaviour’ dat hierover gaat).

            Spillovers

Verschillende bijdragen wijzen op de hoge kosten van impactevaluaties, die soms in geen verhouding staan tot de resultaten die worden gevonden. Dat kan komen doordat het evaluatieontwerp moeizaam is, maar vaker nog blijken de netto effecten tussen de interventiegroep en de controlegroep maar weinig uiteen te lopen. Een belangrijke oorzaak daarvan zijn ‘spillovers’: leden van de controlegroep nemen gedurende de looptijd van het programma ook ideeën en praktijken van de interventiegroep over. Dat komt bijvoorbeeld veel voor bij programma’s die boeren opleiden op het terrein van betere landbouw­technieken, of bij programma’s die training bieden op het gebied van hygiënisch gebruik van water. Goede en bruikbare praktijken verspreiden zich nu eenmaal eenvoudig en worden door veel mensen opgepikt. Een klein netto verschil in netto effect kan dan wel degelijk duiden op een grote impact.

            Averechtse effecten

Beleid blijkt in sommige gevallen heel anders uit te pakken dan gedacht. Jelmer Kamstra laat ziet dat de steun aan NGOs die zich richten op democratisering uiteindelijk averechts kan uitwerken. Deze NGOs richten zich steeds meer op de wensen van donoren en steeds minder op die van de lokale bevolking. Dit zorgt er voor dat ze losgeweekt raken uit hun lokale context. Als ‘oplossing’ verwijst hij naar de noodzaak van lokale capaciteitsopbouw. Ook Marieke van Houte toont aan dat migranten die een permanente verblijfsstatus in Europa hebben verkregen en er toch vrijwillig voor kiezen om terug te gaan, mogelijk meer kunnen bijdragen aan de ontwikkeling van hun land, terwijl de terugkeerpremie vooral wordt gegeven aan afgewezen asielzoekers en ongedocumenteerde migranten die op geen enkele manier bijdragen aan de ontwikkeling en vredesopbouw in hun land van herkomst.

            Mixed methods

Steeds meer impactonderzoek maakt gebruik van een zorgvuldige combinatie van kwalitatieve en kwantitatieve onderzoeksmethoden. Het Oxfam-Novib World Citizens Panel verzamelt ’stories of change’ en bij het migratieonderzoek worden gedetailleerde ‘life histories’ gereconstrueerd. Voor het vaststellen van netto effecten worden econometrische methoden nog veel gebruikt. Ook de evaluatie van begrotingssteun is gebaseerd op een combinatie van case studies (op landenniveau) en een kwantitatieve vergelijkende landenanalyse. Recent impactonderzoek gebruikt steeds meer gedrags­experimenten (RCTs, of randomized control trials) en spelmatige benaderingen (gaming), waarbij verschillende keuzeopties aan deelnemers worden voorgelegd. Daarin ligt duidelijk de toekomst.

            Evaluaties & Beleid

Volgens Marieke van Houte zijn ‘beleidsmakers zich goed bewust van het verschil tussen beleid en realiteit’, maar kiezen zij voor simpele beelden om een politiek gevoelige onderwerp (het terugkeerbeleid van vluchtelingen) uit te leggen aan een breed publiek. Geske Dijkstra verbaast zich erover dat de positieve resultaten van de evaluatie van begrotingssteun niet door beleidsmakers worden opgepakt. Mijn inschatting is dat we rationaliteit van het beleidsproces sterk overschatten: er zijn maar weinig politici die de uiteindelijke keuze voor bepaalde beleidsinstrumenten alleen laten bepalen door de verwachte effectiviteit. Impactanalyse is een nuttig hulpmiddel om inzicht te verkrijgen in de mogelijke effecten van beleid, maar we mogen er geen wonderen van verwachten.

Ruerd Ruben

Hoogleraar Impactanalyse & Voedselzekerheid

Wageningen UR

 

All rights reserved | copyright 2015