 |
Konzepte, Strategien und Tätigkeitsfelder
|
|
Wirkungsmessung und Evaluierung | |
| Martin Quack |
| Wirkungsmessung und Evaluierung sind nicht nur wichtige Methoden, um Friedensprojekte gegenüber Zielgruppen und Auftraggebern zu rechtfertigen. Sie leisten auch einen Beitrag zur Unterstützung von Lernprozessen und damit zur Vermeidung von Fehlentwicklungen und zur Steigerung der Effektivität.
|
 |
|
| Mitarbeiter von CARE verteilen Nahrungsmittel in Kabul, November 2002. Zur Vermeidung von Fehlentwicklungen ist eine Evaluation aller Hilfsbereiche nötig. Foto: AP |
|
| |
Sinn und Zweck von Evaluationen
Unabhängig davon, wie innerstaatliche Konflikte bearbeitet werden – durch Traumaarbeit von Nichtregierungsorganisationen oder durch Reform von Militär und Polizei – irgendwann stellt sich die Frage, inwieweit es damit tatsächlich gelingt, Gewalt zurückzudrängen und Frieden zu fördern.
Evaluationen können aus mehreren Gründen sehr hilfreich sein: Erstens können die beteiligten Akteure viel über die eigene Arbeit lernen und feststellen, ob sie ihre Ziele wirklich erreichen. Zweitens dienen Evaluationen dazu, Rechenschaft gegenüber den Betroffenen, den politisch Verantwortlichen und den Geldgebern abzulegen. Und drittens können mit Hilfe von Evaluationen laufende Projekte und Programme verbessert werden – sie können wirkungsvoller oder kostengünstiger ausgestaltet werden. Zwar ist es kaum möglich, soziale Veränderungen hin zu einer friedlicheren Gesellschaft in einer Geldsumme auszudrücken, doch kann z.B. eine Organisation eine bestimmte Geldmenge nur einmal ausgeben. Deshalb sind Kosten-Nutzen-Rechnungen zwischen verschiedenen Möglichkeiten, das Geld zu verwenden, unausweichlich.
Anspruchsvolle Standards
In der Konfliktbearbeitung und Friedensförderung gibt es Evaluationen erst seit wenigen Jahren. Hier konnte jedoch Vieles von den langjährigen Erfahrungen auf diesem Gebiet in der Entwicklungszusammenarbeit gelernt und übernommen werden. Eine weitere wichtige Grundlage bilden die Ergebnisse der Evaluationswissenschaft, die in den letzten Jahren große Fortschritte gemacht hat.
Evaluationen von Projekten und Programmen werden immer häufiger durchgeführt und unterscheiden sich in vielerlei Hinsicht. In jedem Fall sollten bei einer Evaluation daher die international anerkannten Standards (DeGEval 2008) eingehalten werden. Seit einigen Jahren steht bei Evaluationen die Wirkungsmessung im Vordergrund. Ursache- und Wirkungszusammenhänge der Friedensförderung sind jedoch nur schwer nachzuweisen. Umso wichtiger ist es, die normativen Kriterien der Bewertung von Wirkungen offenzulegen. Dazu gehört z.B., dass in der Wirtschaft übliche Evaluationskriterien (z.B. Kosteneffizienz) nicht unreflektiert auf die zivilgesellschaftliche Friedensförderung übertragen werden.
Besonderheiten der Evaluation von Friedensprojekten
Für Evaluationen gibt es kein Modell, dass immer angemessen ist. Jeder Konflikt, jedes Handlungsfeld, jede Intervention, die untersucht wird, ist anders. Eine Evaluation muss auf spezifische Gegebenheiten und vor allem auf die betroffenen Akteure Rücksicht nehmen. Zudem können sich in Konflikten diese Gegebenheiten schnell ändern.
Um Wirkungen zu untersuchen, lassen sich innerhalb einer "Wirkungskette" mehrere Schritte unterscheiden: Zunächst werden Ressourcen zur Konfliktbearbeitung bereit gestellt, z.B. Geld, Personal, Beratung usw. (Input). Damit werden dann z.B. Workshops, Begegnungen, Konferenzen und Trainings durchgeführt (Output). Die Teilnehmerinnen und Teilnehmer können diese Erfahrungen nutzen, indem sie z.B. ihre Einstellungen verändern oder sich anders verhalten (Outcome). Wenn die Veränderungen stark und langfristig sind, kann sich dies positiv auf den gesamten Konflikt auswirken (Impact). Bei einer Evaluation ist es wichtig, genau zu klären, welcher dieser vier Teilschritte im Zentrum der Untersuchung stehen soll.
Aus der Evaluierung von Friedensförderung ergeben sich einige Dilemmata. So bleiben langfristige Wirkungen oft unberücksichtigt, weil nur die Wirkungen bis zum Zeitpunkt der Untersuchung nachgewiesen werden können. Bei der Bewertung vergleichsweise kleiner Interventionen, deren Umfang nur einen Bruchteil anderer wirtschaftlicher und politischer Einflüsse ausmacht, ist es schwierig, die Wirkungen im Vergleich zu diesen anderen möglichen Ursachen zu bewerten. Dabei sind die politischen Faktoren vor Ort noch gar nicht berücksichtigt. Es stellt sich die Frage, inwieweit die Teilnehmer bzw. Zielgruppen eines bestimmten Projekts ihr Verhalten wegen des Projekts verändert haben, oder ob es dafür ganz andere Gründe gab.
Hinzu kommt, dass die Datenlage in der Konfliktbearbeitung oft nicht befriedigend ist und dass sich Veränderungen von Konflikten nicht so einfach messen lassen wie z.B. Veränderungen der Gesundheitslage (durch die Messung von Lebenserwartung, Kindersterblichkeit usw.). Ob eine bestimmte Entwicklung als friedensfördernd oder nicht angesehen wird, hängt zudem von der jeweiligen Vorstellung von Frieden ab. "Objektivität" ist deshalb schwer zu verwirklichen. Aus diesem Grund ist es besonders wichtig, die Perspektive der betroffenen Menschen einzubeziehen, konkret: Wie hat sich ein bestimmtes Projekt aus ihrer Sicht ausgewirkt?
Um Wirkungen nachzuweisen, werden in den Naturwissenschaften und in der Medizin häufig Experimente oder Untersuchungen mit Kontrollgruppen (z.B. der Vergleich von Menschen, die an einem bestimmten Projekt teilgenommen haben mit anderen, die nicht teilgenommen haben) durchgeführt. Solche Untersuchungen sind in der Konfliktbearbeitung in aller Regel aus praktischen und ethischen Gründen nicht möglich. Es gibt aber eine Reihe von anderen Methoden der empirischen Sozialwissenschaft, die herangezogen werden können. Um belastbare Ergebnisse zu bekommen, sollten möglichst mehrere Evaluatoren mit mehreren methodischen Optionen und unterschiedlichen Datenquellen arbeiten (Stichwort: Triangulation).
Konzepte und Erfahrungen in der Praxis
Je nach Umständen und Fragestellung können Evaluationen eine große Bandbreite von Ansätzen und Verfahren nutzen, von denen einige eigens für die Friedensförderung entwickelt wurden. Eines dieser Verfahren ist der "Do No Harm"-Ansatz (Anderson 1999). Er dient dazu, negative Wirkungen von Interventionen auf Konflikte zu minimieren. "Do No Harm" untersucht u.a. die Auswirkungen von Ressourcentransfers (z.B. Gehälter) und impliziten ethischen Botschaften (z.B. unterschiedliche Behandlung von Menschen) von Drittparteien auf den Konflikt. Es werden sowohl die Wirkungen auf die Faktoren untersucht, die den Konflikt verschärfen, als auch auf jene, die beide Seiten verbinden. Durch die Entwicklung von Handlungsoptionen sollen negative Wirkungen bewusst minimiert und positive verstärkt werden. Maßgeblich für die Identifizierung von Wirkungen ist die subjektive Einschätzung der beteiligten Akteure (z.B. in projektinternen, partizipativen Workshops).
Andere für die Friedensförderung spezifische Ansätze oder Verfahren sind z.B. Reflecting on Peace Practice (Anderson/Olson 2003) und Peace and Conflict Assessment (GTZ 2007).
Eine Evaluation der gesamten Friedensförderung in Kosovo im Jahr 2006 (CDA/CARE International Kosovo 2006) hat untersucht, weshalb es bei den Unruhen im März 2004 in Kosovo in manchen Gebieten zu weniger Gewalt kam als in anderen. Diese Evaluation hat ergeben, dass die internationalen Bemühungen zur Annäherung verfeindeter Gruppen nicht die erwünschten Wirkungen hatten. CARE hat daraufhin – wie andere Organisationen auch – seine Friedensförderung in Kosovo verändert.
Evaluationen als Lernimpulse
Eine Evaluation kann mehr Schaden als Nutzen stiften, wenn kein klares Konzept vorliegt und anerkannte Qualitätsstandards nicht entsprechend angewandt werden. Eine Evaluation, die dem Gegenstand und der Fragestellung nicht angemessen ist, sollte nicht durchgeführt werden. Dazu gehört auch, dass unrealistische Ansprüche an Wirkungsnachweise zurückgewiesen und nicht durch "zurechtgebogene" Evaluationen scheinbar erfüllt werden. Da Evaluationen Lernprozesse unterstützen sollen, und systematische Evaluationen in der Friedensförderung noch wenig verbreitet sind, ist es notwendig, dass Evaluationsberichte veröffentlicht werden. Nur dann ist gemeinsames Lernen möglich. Leider gibt es bisher nur wenige veröffentlichte Evaluationsberichte, und diese stellen zumeist nicht dar, wie die Verantwortlichen die Evaluationen zur Verbesserung von Friedensförderung genutzt haben. Zu einer Evaluationskultur gehört auch, dass bei allen Beteiligten das Lernen aus Fehlern stärker gewürdigt wird, so dass nicht nur Berichte über besonders erfolgreiche Interventionen der Öffentlichkeit zugänglich gemacht werden.
Literatur
Anderson, Mary B. (1999): Do No Harm: how aid can support peace – or war, Boulder/ London: Lynne Rienner.
Rossi, Peter H./ Lipsey, Mark W./ Freeman, Howard E. (2004): Evaluation – a systematic approach, Thousand Oaks: Sage.
Links
Anderson, Mary B./Olson, Lara (2003): Confronting war: critical lessons for peace practitioners.
http://www.cdainc.com/cdawww/pdf/book/
confrontingwar_Pdf1.pdf
Calließ, Jörg (Hrsg.) (2006): Evaluation in der zivilen Konfliktbearbeitung, Rehburg-Loccum: Evangelische Akademie Loccum.
http://www.konfliktbearbeitung.net/?info=docs&pres=detail&uid=686
CDA/CARE International Kosovo (2006): What difference has peacebuilding made? A study of the effectiveness of peacebuilding in preventing violence: lessons learned from the March 2004 riots in Kosovo
http://www.careks.org/pub3.pdf
DeGEval (2008): Standards für Evaluation.
http://www.degeval.de/calimero/tools/proxy.php?id=19074
DeGEval, Arbeitskreis Entwicklungspolitik (2009): Verfahren der Wirkungsanalyse – eine Landkarte für die entwicklungspolitische Praxis.
http://www.degeval.de/index.php?class=Calimero_Webpage&id=9037)
GTZ (2007): Peace and Conflict Assessment (PCA) : Ein methodischer Rahmen zur konflikt- und friedensbezogenen Ausrichtung von EZ-Maßnahmen. Eschborn.
http://www.gtz.de/de/dokumente/de-crisis-pca-2008.pdf
Zupan, Natascha (2005): Methoden der Evaluation im Konfliktkontext (FriEnt Briefing Nr. 3/2005).
http://www.frient.de/downloads/
FriEnt_Briefing_0305_Evaluation.pdf
Lizenziert unter der Creative Commons-Lizenz
by-nc-nd/3.0/de.
04. Februar 2010 | |
|
|
|
|
Informationen zur politischen Bildung |
|
|
|
 |
|
 |
|
|
|
Sicherheitspolitik im 21. Jahrhundert
Moderne Sicherheitspolitik nimmt nicht nur militärische Bedrohungen durch Staaten in den Blick. Armut, Hunger sowie ethnische oder ideologische Konflikte wirken sich weltweit destabilisierend aus und erfordern internationale Zusammenarbeit. |
|
|
|
|
|
 |
|
|
|
Bestellen
Themen
Publikationen
Veranstaltungen
Wissen
Lernen
