Der steinige Weg zu mehr Erkenntnis

(Aus "Horizonte" Nr. 111 Dezember 2016)​​​

Kein verantwortungsvoller Arzt würde Medikamente verschreiben, deren Wirkungen und Nebenwirkungen nicht fachgerecht überprüft wurden. Doch bei sozialen Entwicklungsprogrammen, in die enorme Summen fliessen, fehlt es an solchen Standards." Diese ernüchternde Feststellung machte 2006 eine Arbeitsgruppe des Washingtoner Center for Global Development in einem Report mit dem provokativen Titel "When Will We Ever Learn? Improving Lives Through Impact Evaluation". Die Experten bemängelten darin Lücken bei der Evaluation von Wirkungen der Entwicklungszusammenarbeit und riefen zu einem systematischen Aufbau evidenzbasierter Entscheidgrundlagen auf.

Am kritischen Washingtoner Report mitgearbeitet hatte auch die Ökonomin und Armutsforscherin Esther Duflo, die bereits 2003 das Poverty Action Lab J-PAL mitbegründet hatte. Das am Massachusetts Institute of Technology beheimatete Forschungsinstitut setzt konsequent auf randomisierte Feldexperimente, um die Wirkung von entwicklungspolitischen Massnahmen wissenschaftlich sauber zu messen. So belegte Duflo in einer aufsehenerregenden Studie etwa, dass die vielgelobten Mikrokredite in Indien zwar die Armut minderten, das Leben der betroffenen Bevölkerung aber nicht im erhofften Mass verbesserten.

OECD-Kriterien sind die Richtschnur

Die Kritik an mangelnden Standards und der Appell für mehr Evidenzbasierung sind in der Fachwelt nicht ungehört verhallt. Als eine Antwort entstand 2008 die unabhängige International Initiative for Impact Evaluation (3ie). Sie vernetzt Wissenschaftler mit Politik und Praxis, organisiert Konferenzen zum Thema "Was funktioniert" und fördert evidenzbasierte Evaluierungen. Die NGO unterstützte seit ihrer Gründung über 200 Wirkungsstudien in 50 Ländern im Umfang von total rund 85 Millionen Dollar.

Parallel zur Wissenschaft haben auch die Geber- und Partnerländer im letzten Jahrzehnt ihre Evaluierungsinstrumente geschärft und professionalisiert. So wurde 2005 mit der Deklaration von Paris über die Wirksamkeit der Entwicklungs-zusammenarbeit die Basis für gemeinsame Qualitätsstandards gelegt. Der Entwicklungsausschuss der OECD definierte fünf Evaluierungskriterien: Relevanz, Effektivität, Effizienz, entwicklungspolitische Wirkungen und Nachhaltigkeit. Diese sind zwar nicht bindend, sind aber international als Leitlinien anerkannt.

Die Kriterien werden nicht zuletzt von der OECD selbst in Länderberichten überprüft. Bemängelt wird dabei immer wieder die fehlende Politkohärenz der Geberländer, etwa wenn die Aussenhandelspolitik den Zielen der Armuts-bekämpfung zuwiderläuft. Auch die Geberländer selber evaluieren die Wirksamkeit ihrer entwicklungspolitischen Massnahmen. Skeptiker bezweifeln jedoch die Unabhängigkeit der Evaluationsabteilungen, die in den meisten Ländern innerhalb der jeweiligen Organisation angesiedelt sind.

Mit der Mandatierung eines autonomen Instituts hat Deutschland einen neuen Weg beschritten. 2012 wurde das Deutsche Evaluierungsinstitut der Entwicklungs-zusammenarbeit (Deval) ins Leben gerufen. "Wir stellen einen hohen Anspruch an Wissenschaftlichkeit und Unabhängigkeit", betont Deval-Direktor und Politikwissenschaftler Jörg Faust. "Auch sind wir stark auf Praxisorientierung ausgerichtet und wollen Lernprozesse initiieren." Die zu evaluierenden Themen seien meist vielschichtig und komplex und stellten insofern einen hohen Anspruch an inhaltliche wie methodische Expertise.

Auch qualitative Methoden gefragt

Die methodische Herausforderung besteht laut Faust in der Grundfrage, "wie sich eine Situation entwickelt hätte, wenn es die entwicklungspolitische Intervention nicht gegeben hätte". Um dies zu untersuchen, kombiniert das Institut quantitative mit qualitativen Methoden. "Es geht bei der Evaluierung nicht nur um Identifizierung von Wirkung, sondern auch darum herauszufinden, warum es zu einer Wirkung kommt." Dafür brauche es nebst rigoroser Wirkungsforschung auch elaborierte qualitative Methoden. "Eine aufgeklärte Debatte spielt nicht beides gegeneinander aus", betont der Deval-Direktor.

Kam es vor Jahren noch zu Grabenkämpfen zwischen den "Randomistas" – den Verfechtern des randomisierten Feld- experiments als wissenschaftlichen Gold-Standard – und ihren Kritikern, werde die Methodendebatte heute moderater geführt, erklärt Faust: "Mittlerweile gibt es mehr Akzeptanz für eine Position, die sich offener der Frage stellt, wie quantitative und qualitative Elemente zu einem Methodenmix zu kombinieren seien, der ein Maximum an Erkenntnisgewinn erreicht."

Mehr in globales Wissen investieren

Auch für die Entwicklungsökonomin Isabel Günther, Leiterin Center for Development and Cooperation an der ETH Zürich, geht es bei der Frage, was Entwicklungszusammenarbeit wirksam macht, nicht nur um die Anwendung von randomisierten Feldexperimenten. Experimentelle Methoden eigneten sich vor allem für die Mikro-Ebene. Um Faktoren auf der Makro- Ebene zu analysieren – etwa wie sich Steuerpolitiken auswirken –, brauche es oft andere quantitative Verfahren. Zentral sei immer zu identifizieren, "welche Form der Entwicklungszusammenarbeit in welchem Kontext wirkt und welche nicht".

Diese faktenbasierte Identifizierung von wirksamen Interventionen mithilfe von wissenschaftlich anerkannten Methoden sei im Interesse aller. Das heisse aber nicht, dass "jedes einzelne Projekt oder Programm evaluiert werden muss". Studien zur Wirksamkeit der Entwicklungshilfe sollten nicht nur der Rechenschaftspflicht einer Organisation dienen, sondern vor allem zu einer kontinuierlichen Verbesserung der Programme führen, betont Günther. Das Lernen müsse über Institutionen hinweg stattfinden: "Die Zukunft liegt auch darin, mehr in globales Wissen zur Armutsreduktion zu investieren und dieses zu nutzen."

Wie viel weltweit für die Evaluierung der Entwicklungszusammenarbeit ausgegeben wird, dazu liegen keine Vergleichszahlen vor. Laut Deval-Direktor Jörg Faust werden nicht mehr als ein bis zwei Prozent der Entwicklungshilfegelder der OECD für die Evaluierung eingesetzt. Dies sei "angesichts des Erkenntnis- und Lernbedarfs in Themenfeldern wie globaler Nachhaltigkeit oder dem Umgang mit fragilen Staaten sicherlich nicht zu viel".

Nachhaltigkeitsziele fordern heraus

Beide Forschenden weisen auf die neuen Uno-Ziele der Agenda 2030 hin, die die Millenniumsziele ablösen: 17 Ziele und 169 Unterziele für eine nachhaltige Entwicklung hat die Weltgemeinschaft 2015 verabschiedet. In Zukunft soll die Entwicklungszusammenarbeit nicht mehr nur zur Armutsreduktion beitragen, sondern auch die Folgen des Klimawandels abfedern.

Das stellt nicht nur die Evaluierer vor neue Herausforderungen. Für die Entwicklungsökonomin Isabel Günther stellt sich grundsätzlich die Frage, ob es möglich ist, all diesen Herausforderungen mit den Instrumenten der Entwicklungszusammenarbeit, deren finanzielle Mittel reduziert werden, zu begegnen: "Entwicklungshilfe ist nicht die Lösung für alle globalen Probleme."

Theodora Peter ist freie Journalistin mit SchwerpunktEntwicklungszusammenarbeit.