Oxfam Novib’s World Citizens Panel: impact meten om programma’s te verbeteren

Auteurs: Peter Huisman, Anne Oudes & Rik Linssen

Oxfam Novib is een ontwikkelingsorganisatie die de kracht van mensen bundelt met als doel: een rechtvaardige wereld zonder armoede. Oxfam Novib werd in 1956 opgericht in Nederland en maakt sinds 1995 deel uit van Oxfam International, een groeiende internationale confederatie van momenteel 17 gelijkgestemde organisaties, die actief is in meer dan 90 landen met een gezamenlijke strategie per land, een gezamenlijke aanpak van noodhulp en internationale campagnes (zoals GROW, Control Arms, Behind the Brands). Oxfam werkt vanuit de visie dat elk mens recht heeft op een duurzaam bestaan, basisvoorzieningen, leven en veiligheid, maatschappelijke en politieke participatie en een eigen identiteit. Impact staat centraal in alles wat Oxfam doet. Daarom is een nieuwe methode ontwikkeld om op een simpele én betrouwbare manier impact te meten.

Oxfam Novib wil impact meten om haar programma’s continue te verbeteren. De impactmethode, ook wel World Citizens Panel (WCP) genoemd, meet Oxfam’s impact door een combinatie van kwantitatieve en kwalitatieve onderzoeksmethoden, het betrekken van relevante stakeholders in het onderzoeksproces en een focus op kosteneffectiviteit en betrouwbaarheid. De stem WCPLogovan de mensen die deelnemen aan onze programma’s staat hierbij centraal.

Sinds 2012 ontwikkelt Oxfam Novib het WCP. Waar eerder vooral met externe evaluatoren werd gewerkt, houdt Oxfam Novib zich nu zelf via het WCP bezig met het onderzoek naar de effectiviteit van haar programma’s. Zo zorgen we er voor dat het onderzoek naar de effectiviteit heel dicht op de programma’s zit. Ook combineert Oxfam Novib onderzoek naar de impact van programma’s met capaciteitsopbouw van partnerorganisaties op het gebied van monitoren, evalueren en leren (MEL). Waar evaluaties zich eerder voornamelijk op externe verantwoording richtten, vaak in een laat stadium nog data moesten verzamelen of het moesten doen met data van matige kwaliteit, leren partnerorganisaties door het WCP te implementeren tijdig met dataverzameling te starten en hun werk ook zelf op impactniveau te beoordelen en te verbeteren. Oxfam Novib is binnen Nederland een van de eerste ngo’s die de expertise in huis heeft gehaald om zulke impactstudies zelf uit te voeren.

Doel

Door het empirisch onderzoeken van onze ‘theories of change’ leren we hoe we programma’s effectiever kunnen maken en steeds meer impact kunnen behalen. Daarnaast leggen we verantwoording af over ons werk aan de mensen die participeren in onze programma’s, onze donoren en donateurs. We zorgen ervoor dat de indicatoren goed aansluiten op de lokale context en de evaluatievragen van het programma.

Het WCP stelt de veranderingen in de levens van mensen centraal. Het geeft deelnemers aan programma’s een stem en stelt Oxfam Novib in staat kritisch te reflecteren op haar werk.

Capaciteitsversterking

Oxfam Novib’s aanpak wordt gekenmerkt door een intensieve samenwerking met lokale partnerorganisaties. Partnerorganisaties worden betrokken bij het onderzoeksdesign, het formuleren van indicatoren, de dataverzameling en de interpretatie van de resultaten. Er zijn verschillende momenten ingebouwd waarin de uitkomsten met partners worden besproken. Door het ‘ownership’ van het proces voor een groot deel bij onze partnerorganisaties te leggen, faciliteert het WCP direct het leren van de uitkomsten. Partnerorganisaties zien direct, aan de hand van indicatoren die samen met het WCP-team geformuleerd zijn, de resultaten van hun werk op impactniveau. Dit helpt ook bij het ontwikkelen van nieuwe programmastrategieën en het verbeteren van bestaande ‘theories of change’. Ook stelt deelname aan het proces de lokale organisaties in staat om hun evaluatie- en leercapaciteiten te versterken.

Kosteneffectiviteit

Het meten van impact vergt voor ngo’s aanzienlijke investeringen. Zowel in het ontwikkelen van methoden, het opzetten van systemen als het investeren in onderzoeksexpertise. Er bestaat een spanningsveld tussen investeringen in project-gerelateerde activiteiten en het meten van impact, zeker in een context waar financiering voor ontwikkelingssamenwerking in toenemende mate onder druk staat.Versvak_1Daarom probeert het WCP een goede combinatie te vinden tussen kosteneffectiviteit en betrouwbaarheid van het onderzoek. De kosteneffectiviteit wordt in het oog gehouden door zo veel mogelijk via partnerorganisaties te werken, processen te automatiseren en mobiele telefoons te gebruiken voor de dataverzameling.

De aanpak

Om de effectiviteit van programma’s te meten voeren partnerorganisaties surveys uit onder een aselecte steekproef van deelnemers aan hun projecten en een vergelijkbare controlegroep. Medewerkers van partnerorganisaties worden getraind in het uitvoeren van onderzoek en het formuleren van indicatoren. Onderzoekers van Oxfam Novib begeleiden partnerorganisaties tijdens dit proces, vooral rondom zaken als het specificeren van indicatoren, steekproeftrekkingen en interviewertraining. Het gebruik van smartphones stelt Oxfam in staat om impactevaluaties op grote schaal uit te voeren. Het gebruik van smartphones zorgt er bovendien voor dat resultaten snel beschikbaar zijn. Op basis van de verzamelde data voeren de onderzoekers in het WCP-team geavanceerde statistische analyses uit.

De resultaten worden kritisch onder de loep genomen in een workshop waaraan alle betrokkenen deelnemen. Tijdens deze reflectieworkshop bekijken we de projecten door de ‘impact-lens’. We besteden aandacht aan indicatoren waar we wel en ook juist niet de verwachte impact vinden. Aan de hand daarvan bespreken we waar en hoe programma’s verbeterd kunnen worden. De ervaring leert dat een survey vaak niet het complete beeld geeft, vooral wanneer het gaat om onverwachte effecten. Op basis van de vragen die tijdens de reflectieworkshop naar boven komen voeren we verdere kwantitatieve analyses uit. Daarnaast bepalen we domeinen voor kwalitatief onderzoek met ‘stories of change’.

Versvak_2Voor dit kwalitatieve onderzoek voeren onze partnerorganisaties, na een training, diepte-interviews uit met participanten van het project. De participanten vertellen dan hun ‘story of change’ waarin ze beschrijven wat de meest significante verandering in hun eigen leven is binnen een bepaald domein. Deze verhalen worden opgetekend op papier of opgenomen op video. Vervolgens wordt er samen met de partnerorganisaties wederom gereflecteerd op deze verhalen. Bij een project in Nigeria bijvoorbeeld bleek uit de survey dat er relatief weinig vrouwen hulp zochten buiten hun privésfeer nadat zij huishoudelijk geweld ervaren hadden. Het ‘stories of change’ proces verzamelt vervolgens verhalen van vrouwen die wél naar buiten treden en hulp gezocht hebben en vrouwen die dat niet gedaan hebben. Op basis van de ‘stories of change’ worden de resultaten van de survey gecontextualiseerd en worden indicatoren geformuleerd voor een volgende survey.

Oxfam Novib’s doel is het World Citizens Panel uit te voeren in alle programma’s. Daarmee creëren we een ‘World Citizens Panel’ van mensen die onze strategieën en activiteiten beïnvloeden. Zo maakt Oxfam Novib haar programma’s effectiever.

 All rights reserved | copyright 2015 | gepubliceerd op 30-04-2015