APUZ Dossier Bild

26.2.2010 | Von:
Wirkungsmessung auf der Makroebene: der statistische Ländervergleich

Wirkungsevaluierung in der Entwicklungs-
zusammenarbeit

Mikro-Makro-Paradoxon in der Wirkungsmessung

Die internationale EZ hat hohe Ansprüche, indem sie nicht nur auf die Vergabe von Nothilfe in Krisensituationen ausgerichtet ist, sondern auch strukturelle Beiträge zur Armutsbekämpfung, zur Demokratieförderung oder zur Friedenssicherung verspricht. Inwieweit und warum diese Ziele tatsächlich erreicht bzw. verfehlt werden, ist im Kern die Aufgabe von Evaluierung. Betrachtet man vor diesem Hintergrund die Evaluierungsberichte entwicklungspolitischer Organisationen, so wird man (vielleicht mit Überraschung) feststellen, dass traditionell auf der Mikro-Ebene mehr als drei Viertel der durchgeführten Projekt- oder Programminterventionen als zufriedenstellend oder besser bewertet werden.

Dieser Befund kontrastiert jedoch mit den Ergebnissen der Wirkungsmessung auf der Makro-Ebene, bei der statistische Verfahren des Ländervergleichs im Mittelpunkt stehen (vgl. Kasten 1). Denn die statistischen Ländervergleiche auf Grundlage von Daten der letzten drei Dekaden (ca. 1970 - 2005) konnten keine robusten Ergebnisse liefern, die eine Wirkung von staatlichen EZ-Strömen auf das Wohlfahrtsniveau von Entwicklungsländern nahegelegt hätten.[2] Angesichts der erklärten Zielsetzung der EZ, Beiträge zur ökonomischen Modernisierung und Armutsreduzierung zu leisten, sind die Ergebnisse dieses Forschungsstrangs denn auch eine Ursache für die zunehmende Kritik an der EZ bzw. für die unternommenen Reformversuche der vergangenen Jahre.

Die ernüchternden Ergebnisse des statistischen Ländervergleichs offenbarten ein Mikro-Makro-Paradoxon in der EZ. Denn während die große Mehrheit von einzelnen Projekten und Programmen hinsichtlich ihrer Wirkungen ja positiv evaluiert worden war, ließen sich auf der Ebene des Ländervergleichs keine analogen Wirkungen nachweisen. Dieses Paradoxon in der Wirksamkeitsforschung lässt sich allerdings sowohl auf der Makroebene wie auch auf der Mikroebene auflösen.

Mit Blick auf die Makroebene besteht die Auflösung darin, dass bei zunehmender Abhängigkeit einer Volkswirtschaft von EZ-Transfers gesamtwirtschaftlich negative Effekte auftreten können, die dann die positiven Wirkungen gelungener Einzelprojekt kompensieren. Solch negative Effekte können vor allem über zwei Kanäle verlaufen:
  • Wenn eine Volkswirtschaft viel öffentliche Entwicklungshilfe erhält, bedeutet dies eine Aufwertung der Währung im Empfängerland aufgrund des mit der EZ verbundenen Devisenzuflusses. Eine höher bewertete Währung verbilligt jedoch die Importe bzw. verteuert die Exporte des Empfängerlandes. Dies kann der internationalen Wettbewerbsfähigkeit und damit der gesamtwirtschaftlichen Entwicklung abträglich sein.
  • Eine hohe Abhängigkeit von EZ-Transfers kann zudem negative Auswirkungen auf die Qualität politischen Handelns haben. EZ-Transfers in entwicklungsförderliche Sektoren wie etwa Bildung und Gesundheit ermöglichen es den Regierungen zumindest partiell, ihre eigenen, hierfür vorgesehenen Ressourcen anderweitig zu verwenden. Zumindest indirekt können somit Teile der EZ-Transfers zur Alimentierung korrupter Strukturen oder eines Repressionsapparates führen (Fungibilitätsrisiko). Statistische Ländervergleiche stützen zudem die Vermutung, dass bei hoher Fragmentierung der Geberorganisationen vor Ort die Qualität der staatlichen Administration im Empfängerland geschwächt wird. Denn hierdurch werden armen Entwicklungsländern erhebliche Verwaltungskosten aufgebürdet, und qualifiziertes Personal wandert vom Staat zu Geberorganisationen ab.[3]
Neben der Auflösung des Paradoxons durch negative externe Effekte auf der Makroebene kann das Paradoxon auch auf der Mikro-Ebene erklärt werden, wenn nämlich Zweifel an den positiven Ergebnissen vieler Projektevaluierungen herrschen. Zumindest für den in früheren Dekaden beanspruchten Erfolg der großen Mehrheit der einzelnen Entwicklungsmaßnahmen gibt es oft nicht ausreichend empirische Evidenz. Zwar wurde in der EZ viel evaluiert, doch existierten viele organisatorisch-institutionelle oder inhaltlich-methodische Schwachpunkte.

Die organisatorisch-institutionelle Kritik betonte, dass in der Vergangenheit der Schwerpunkt der Evaluierungsarbeit zu oft auf den Input und Output von EZ-Maßnahmen gelegt wurde und die Ebene des Impacts vernachlässigt worden sei. Denn alleine ein Blick auf die Quantität der eingesetzten Ressourcen in der EZ bzw. deren unmittelbare Ausgestaltung in Projekten gibt noch nicht hinreichend Information über die Wirkungen auf der Ebene der Zielgruppen - etwa die Verbesserung der Lebensumstände der armen Bevölkerung. Auch wurde moniert, dass viele Geberorganisationen zu oft isoliert und auf eigene Faust evaluiert hätten, anstatt mittels gemeinsamer Evaluierungen kollektive Lernprozesse anzustoßen. Die auf der Ebene der Projektdurchführung beobachtete Fragmentierung der Geberaktivitäten setzte sich somit auf der Ebene der Evaluierung fort. Schließlich wurde kritisiert, dass die Evaluierungen oftmals allenfalls begrenzt unabhängig gewesen seien, was die Ergebnisse zu Gunsten positiver Bewertungen verzerrte.

Die methodische Kritik richtete sich auf die Art und Weise, wie die Wirkungsmessung durchgeführt wurde. Beanstandet wurde erstens die häufig mangelhafte Datenerhebung wie etwa das Fehlen sogenannter Baseline-Studien zu Projektbeginn, die vielfach eine Voraussetzung für einen sauberen Vergleich von Pre- und Postinterventionszustand sind. Doch auch bei deren Vorliegen reicht meist ein einfacher Vorher-Nachher-Vergleich kaum aus, um eine Veränderung bei der Zielgruppe auf die erfolgte Intervention zurückzuführen. In den 1970er Jahren stand etwa eine Verlängerung von Weltbankprogrammen zur Integration von Frauen in den formellen Arbeitsmarkt Indonesiens an. Grundlage für die Entscheidung war auch die Beobachtung, dass sich parallel zur Implementierung solcher Programme tatsächlich eine zunehmende Integration von Frauen in den Arbeitsmarkt ergeben hatte. Wie jedoch weiterführende Analysen zeigten, war dieser Effekt weniger der entwicklungspolitischen Intervention geschuldet, sondern vielmehr einer partiellen Industrialisierungsdynamik und dem hierdurch entstehenden Nachfragesog nach Arbeitskräften, was eine stärkere Beschäftigung von Frauen begünstigte.

Die zentrale methodische Herausforderung der Evaluierung besteht mithin darin, die empirische Erhebung für eine kontrafaktische Argumentation zugänglich zu machen, also für die Frage: Wie hätte sich die Situation entwickelt, wenn es die entwicklungspolitische Intervention nicht gegeben hätte? Wird dieser Zuordnungsproblematik nicht Rechnung getragen, dann ist die Aussagekraft der Evaluierungsergebnisse gering.

In der Entwicklungspolitik tritt die skizzierte Herausforderung auch oftmals in Gestalt eines Selektionsbias bei der Projektauswahl auf. Zur Veranschaulichung sei das Beispiel einer kleinen, indigen geprägten Gemeinde - Cotacachi - in Ecuador genannt. Als in der zweiten Hälfte der 1990er Jahre ein reformorientierter Bürgermeister mit einer gut organisierten Zivilgesellschaft die Geschicke der Kleinstadt organisierte, siedelten sich dort rasch auch etliche staatliche und nicht-staatliche EZ-Organisationen Projekte an. Aufgrund der dynamischen Entwicklung der Gemeinde wurde das Städtchen zum Schaufenster für erfolgreiche EZ auf lokaler Ebene. Doch etliche wirkungsrelevante Fragen konnten aufgrund des Selektionsbias nicht beantwortet werden. Welchen Anteil an der positiven Entwicklung der Gemeinde war den Gebern, welche den lokalen Strukturen zuzuschreiben? Hätte sich die Gemeinde vielleicht ohne EZ-Projekte genauso entwickelt, oder gab es einen bestimmten Sättigungsgrad, ab dem jedes weitere Projekt keine positiven Wirkungen mehr generierte?

Insgesamt passten die Mängel in der Projektevaluierung zum zunehmend kritischen Bild entwicklungspolitischer Strukturen. Weniger die Quantität von Evaluierung war das Problem, sondern vielmehr deren Organisation, inhaltliche Ausrichtung und methodische Stringenz.

Fußnoten

2.
Vgl. zu einem neueren Literaturüberblick Jörg Faust/Stefan Leiderer, Zur Effektivität und politischen Ökonomie der Entwicklungszusammenarbeit, in: Politische Vierteljahresschrift, 49 (2007) 1, S. 129 - 152.
3.
Vgl. Stephen Knack/Aminur Rahman, Donor Fragmentation and Bureaucratic Quality in Aid Recipients, in: Journal of Development Economics, 83 (2007) 1, S. 176 - 197.

Dossier

Menschenrechte

Auf der Flucht vor Zwangsheirat, hinter Gittern wegen der "falschen" Meinung, in der Textilfabrik von Kindesbeinen an: Auch 70 Jahre nach Erklärung der Allgemeinen Menschenrechte ist die Frage nach Freiheit und Würde des Menschen aktuell. Sind Menschenrechte universell? Wer verfolgt Verstöße gegen Menschenrechte? Und wie sieht die Situation in verschiedenen Regionen aus?

Mehr lesen