APUZ Dossier Bild

26.2.2010 | Von:
Randomisierte Experimente in der EZ: kommunaler Straßenbau in Indonesien
Die Internationale Initiative für Impact-Evaluierung

Wirkungsevaluierung in der Entwicklungs-
zusammenarbeit

Reformdynamik in der Evaluierung

Mit der zunehmenden Kritik an der Wirkung der EZ im Allgemeinen und der Evaluierung im Speziellen geriet die Legitimation des Politikfeldes in Gefahr. Als Reaktion hierauf kann seit Mitte der vergangenen Dekade eine erhöhte Reformdynamik in der internationalen EZ konstatiert werden, die auch den Bereich der Evaluierung erfasste. Insbesondere die von den OECD-Geberländern und vielen Entwicklungsländern im Jahr 2005 verabschiedete Paris-Agenda, ein zentraler Fluchtpunkt der Reformbemühungen, fordert eine verbesserte Wirkungsmessung.[4] Mit Blick auf die Evaluierung lassen sich die seitdem erfolgten Reformbemühungen erneut anhand inhaltlich-methodischer und institutionell-organisatorischer Faktoren bewerten.

Methodische Trendwende: International zeichnet sich ein Trend zu rigoroseren Methoden bei der Projektevaluierung ab. Betont wird die statistisch fundierte, kontrafaktische Argumentation bei der Identifizierung von Kausalität zwischen Intervention und Wirkungen. Diese Verfahren können hier nicht umfassend behandelt werden, doch soll zumindest der Königsweg rigoroser Methoden, das randomisierte Experiment, besprochen werden. Das Verfahren ist seit langem in der Medizin verbreitet und wird auch zur Beurteilung von Sozialpolitiken in OECD-Ländern eingesetzt.[5]

Im randomisierten Experiment werden bereits vor Projektbeginn nach dem Zufallsprinzip (verschiedene) Interventions- und Kontrollgruppen ermittelt (siehe Kasten 2). Zu Beginn und am Ende der Intervention werden in jeder Gruppe die entwicklungsrelevanten Daten erhoben. Wenn die Gruppen zufällig ausgewählt und groß genug sind, lassen sich die durchschnittlichen Differenzen ihrer Entwicklung unmittelbar auf den Eingriff zurückführen. Wichtig für eine möglichst exakte Messung ist auch, dass Wechselwirkungen zwischen den Gruppen weitgehend ausgeschlossen werden sollten.

Neben dem Vorteil einer vergleichsweise exakten Wirkungsmessung zwingen randomisierte Experimente die implementierende Organisation dazu, sich bereits vor der Intervention ausführlich mit der Wirkungsanalyse zu beschäftigen; Evaluierung verkommt nicht zur lästigen, isolierten Pflichtübung am Projektende. Weiterhin lassen sich randomisierte Experimente schwieriger manipulieren, und die Ergebnisfindung ist vergleichsweise transparent. Aufgrund dieser Vorteile finden gegenwärtig mehrere hundert solcher Evaluierungsprozesse statt, während es zu Beginn der vergangenen Dekade nur eine Handvoll auf experimentellen Verfahren basierende Untersuchungen in der EZ gab.

Ist aber die Einteilung in "bevorzugte" Interventionsgruppen und "benachteiligte" Kontrollgruppen in der Entwicklungspolitik aus normativen Gründen angemessen? In vielen Fällen reichen EZ-Ressourcen ohnehin nicht für alle Bedürftigen, so dass eine Zufallsauswahl zu Evaluierungs- und Lernzwecken gerechtfertigt sein kann. Ferner sind solche Experimente eher unproblematisch, wenn sie zu Beginn eines Politikimplementierungsprozesses stehen, der sukzessiv auf eine größere Zielgruppe ausgeweitet wird. Wenn etwa bestimmte Maßnahmen zur Förderung der Primarschulbildung von Mädchen über mehrere Jahre allmählich landesweit ausgedehnt werden, dann können zu Beginn der Implementierung durchgeführte Experimente wichtige Lernerfahrungen für spätere Phasen generieren.

Randomisierte Experimente konzentrieren sich auf die Wirkungsmessung und sind darin qualitativen Verfahren (wie teilnehmende Beobachtung, Fokusgruppen-Interviews etc.) überlegen. Doch die Begleitung experimenteller und quasiexperimenteller Verfahren durch eine qualitative Beobachtung soziokultureller Besonderheiten ist wichtig, um Wirkungsmechanismen zu identifizieren und die Übertragbarkeit der Intervention auf andere soziokulturelle Kontexte zu prüfen. Werden in ländlichen Gebieten Schulungen junger Mütter über häusliche Hygienemaßnahmen und Kinderernährung durchgeführt, bleiben Wirkungen oftmals gering, wenn nicht auch kulturspezifische "Vetospieler" in die Trainingsmaßnahmen einbezogen werden. Ob jedoch die entwicklungspolitische Intervention Schwiegermütter, lokale Ältesten- oder Familienräte in die Trainingsmaßnahmen einbeziehen sollte, um die Akzeptanz des vermittelten Wissens zu erhöhen, kann von Land zu Land unterschiedlich sein. Eine begleitende qualitative Analyse hilft dann, die Ergebnisse der Wirkungsmessung richtig einzuordnen.

Die Anwendung experimenteller Methoden ist jedoch kaum möglich, wenn es um die Förderung institutioneller Reformprozesse auf nationaler Ebene geht. Wenn Instrumente der technischen Zusammenarbeit oder des Politikdialogs - etwa im Rahmen der Budgethilfe - Reformen im öffentlichen Finanzwesen, der Bildungs- oder Gesundheitspolitik fördern wollen, ist die statistische Wirkungsattribution kaum möglich. Existiert nur eine Untersuchungseinheit - die nationale Gesetzgebung -, dann können randomisierte Experimente kaum eingesetzt werden, und die Evaluierung muss auf stärker qualitative Analysen zurückgreifen.

Baustelle Evaluierungsorganisation: Neben dem skizzierten Trend, anspruchsvollere Methoden der Wirkungsmessung - sofern angemessen - einzusetzen, haben sich in den vergangenen Jahren auch organisatorisch-institutionelle Veränderungen ergeben.

Positiv zu vermerken ist, dass der internationale Konsens über die normativen Grundlagen guter Evaluierung allmählich auf breiterer Basis steht. Neben der Einsicht über die Nutzung anspruchsvoller Methoden wird stärker auf die Unabhängigkeit der Evaluierung geachtet. Darüber hinaus werden weitere Ansprüche an die Evaluierung in der EZ gestellt, die mit den Prinzipien der Paris-Agenda konform gehen. Insbesondere sollen Evaluierungen zunehmend durch mehrere Geber gemeinsam durchgeführt werden, um den bürokratischen Aufwand auf der Partnerseite gering zu halten. Dies gilt insbesondere für koordinierte und harmonisierte Interventionen wie etwa der Budgethilfe. Darüber hinaus sollen Evaluierungen zunehmend auch Elemente des capacity building enthalten und möglichst in Kooperation und unter Beteiligung des Empfängerlandes durchgeführt werden. Letzteres entspricht dem ownership-Prinzip und zielt darauf, die Evaluierungskapazitäten in den Partnerländern zu stärken, um die eigenen Kontroll- wie Lernkapazitäten zu verbessern; eine Entwicklung, die zumindest in einigen Ländern mittleren Einkommens wie etwa Mexiko oder Kolumbien zu beobachten ist.

Auch in Deutschland blieben die skizzierten Diskussionen und Reformansätze trotz einer im politischen System insgesamt eher gering ausgeprägten Evaluierungskultur nicht ohne Wirkung.[7] Die meisten der staatlichen und nichtstaatlichen Organisationen der deutschen EZ haben von der operativen Ebene unabhängige Evaluierungsabteilungen eingerichtet. Weiterhin werden auch die rigoroseren Evaluierungsmethoden stärker perzipiert, und stellenweise damit begonnen, diese einzusetzen.

Fußnoten

4.
Konkret fordern die Prinzipien der Paris-Agenda eine stärkere Ausrichtung an Resultaten und Wirkungen der EZ (management for results) sowie eine wechselseitige Rechenschaftspflicht zwischen Gebern und Nehmern (mutual accountability).
5.
Eine Einführung in rigorose Verfahren der Wirkungsmessung bieten u.a. Alexandra Caspari/Ragnhild Barbu, Wirkungsevaluierungen. Zum Stand der internationalen Diskussion und deren Relevanz für die deutsche Entwicklungszusammenarbeit, Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung, Bonn 2008.
7.
Vgl. Axel Borrmann/Reinhard Stockmann, Evaluation in der deutschen Entwicklungszusammenarbeit, Münster 2009.

Dossier

Menschenrechte

Auf der Flucht vor Zwangsheirat, hinter Gittern wegen der "falschen" Meinung, in der Textilfabrik von Kindesbeinen an: Auch 70 Jahre nach Erklärung der Allgemeinen Menschenrechte ist die Frage nach Freiheit und Würde des Menschen aktuell. Sind Menschenrechte universell? Wer verfolgt Verstöße gegen Menschenrechte? Und wie sieht die Situation in verschiedenen Regionen aus?

Mehr lesen