Was ist Evaluation?
Weit gefasst kann Evaluation als Sammlung von Informationen über einen Prozess und seine Ergebnisse verstanden werden, um Verbesserungen zu bewirken. Dieser gestalterische Aspekt unterscheidet die Evaluation von theorieorientierter Forschung. Die Informationen können Erfahrungsberichten, direkten und indirekten Beobachtungen, Befragungen, (Online-)Daten- und Dokumentenanalysen entstammen und von Verfahrensbeteiligten, Forschenden, Vertretenden der Presse oder in Blogs formuliert werden.
Die Unendlichkeit möglicher Informationen erfordert Relevanzkriterien, um Wichtiges von Unwichtigem zu trennen. Das Wissen um die Herkunft der Information hilft, diese einzuordnen. Wissenschaftliche Studien sind aber kein Garant für ungefärbte Informationen. Letztlich filtern alle Informationen nach Maßgabe eigener Interessen, Vorannahmen oder Heuristiken. Die Ergebnisse jeder Evaluation sind daher mit einer kritischen Distanz zu betrachten. Die Vielfalt evaluierender Studien kann an Hand einiger Leitfragen gruppiert werden, wobei hier nicht alle Möglichkeiten betrachtet werden:
Wer (Teilnehmende, Verwaltung, externe Forschende, Beratende etc.) beobachtet
was (ein oder mehrere Verfahren, Prozess, Ergebnis, Teilnehmende etc.),
wann (vor, während, nach dem Verfahren),
wie (mit welchen Mitteln, Methoden und Theorien, anhand verfahrensinterner oder externer Kriterien),
warum (mit welchem Auftrag, mit welchen Zielen),
für wen oder was (für Verfahrensverantwortliche, für Stiftungen, für eine Abschlussarbeit usw.),
mit welchen Folgen (für das untersuchte oder andere Verfahren)?
Wer evaluiert?
Hier erfolgt die Zuordnung der Studien nach den beiden Fragen: Wer evaluiert? Was? Die Quellen einer Evaluation können fünf Gruppen zugeordnet werden: (1) Forschende, (2) Verfahrensbeteiligte, (3) Gremien des Verfahrens, (4) automatisch erzeugte Kennzahlen innerhalb des Verfahrens und (5) Berichte in Presse, Rundfunk, Blogs und anderen Medien.
(1) Der Einsatz einer wissenschaftlichen Beobachtung ist der übliche Zugang und verspricht einen umfassenden unabhängigen Blick auf die Verfahren. Beispiele hierfür sind die Untersuchung zum zunächst schleppend verlaufenden Bürgerhaushalt in Potsdam (Franzke et al. 2006), zum Bürgerhaushalt Berlin-Lichtenberg (Klages and Daramus 2007), mit aufwändig durchgeführten Beobachtungen und Befragungen, oder zum Bürgerhaushalt Jena (Lautenschläger and Seiffert 2010). Eine wichtige Quelle sind zudem Diplom- (Herzberg 2001) und Doktorarbeiten (Röcke 2009) oder umfassendere Berichte, die mit Drittmitteln gefördert wurden (Sintomer et al. 2009).
(2) Eine zweite wichtige Quelle der Evaluation sind Verfahrensbeteiligte, wie externe Beratende, Mitarbeitende der Verwaltung oder Teilnehmende, die insbesondere im Rahmen der Verfahrensdokumentationen bewertende Informationen liefern. Diese haben den Vorteil, über Detailkenntnisse und internes Verfahrenswissen zu verfügen. Beispiele sind die Dokumentationen zu den Bürgerhaushalten in Bergheim (Vorwerk 2008), Freiburg (Stadt Freiburg 2008) oder Trier (Stadt Trier 2010). Das Bezirksamt Berlin-Lichtenberg veröffentlicht regelmäßig Daten zum Bürgerhaushalt, die einen zeitlichen Vergleich ermöglichen (Bezirksamt Berlin-Lichtenberg 2009). Eine hilfreiche Quelle sind zudem Vorträge von Verfahrensbeteiligten bzw. Tagungsdokumentationen (Vorwerk 2009).
(3) Viele Bürgerhaushalte verfügen über begleitende Gremien oder Beiräte (zum Beispiel Trier, Köln oder Berlin-Lichtenberg), die den Verfahrensablauf diskutieren und das Konzept für das Folgejahr maßgeblich beeinflussen. Hier fließen bewertende Informationen der Teilnehmenden, wichtiger Interessengruppen, der durchführenden Verwaltung, der beschließenden Politik und externer Beratender zusammen.
(4) Bei Online-Verfahren können einige Kennzahlen, wie die Zahl der Teilnehmenden, der Vorschläge oder der Kommentare, in Echtzeit auf der Plattform abgebildet werden. Entsprechendes gilt für die Umsetzung der Vorschläge. Über Fragen (Trier) oder Lob- und Kritik-Foren (Köln, Berlin-Lichtenberg) werden zudem Rückmeldungen der Nutzenden gesammelt und für Anpassungen des Verfahrens genutzt.
(5) Zeitungsberichte, Blogs oder andere Medienberichte enthalten oft bedeutende Hinweise und beeinflussen das öffentliche Meinungsbild. Für die Evaluation sind sie vor allem als Maß der öffentlichen Aufmerksamkeit und als sekundäre Quelle von Interesse.
Was wird evaluiert? Einzel- oder vergleichende Studien
Bei evaluierenden Studien kann zwischen Einzelfallstudien, die das Gros bilden, vergleichende Studien mehrerer Fälle sowie Zeitreihen unterschieden werden. Bei Einzelfallstudien steht der Vergleich mit vorher gesetzten Zielen oder die Beurteilung anhand von (ad hoc) Kriterien im Vordergrund. Sie haben den Vorteil, dass sie offen sind für Kriterien, die erst während der Untersuchung entdeckt werden, und mehr in die Tiefe gehen können. Gerade bei neuen Verfahren oder Konzepten ist ein eher explorativer Ansatz hilfreich. Die Studie zu Berlin-Lichtenberg (Klages and Daramus 2007) ermöglicht beispielsweise den Vergleich der Bedeutung von Bürgerversammlungen, Fragebögen und Online-Dialogen und umfasst Beobachtungen, Befragungen von Teilnehmenden, Vertretenden des Bezirksamtes und der Bezirksverordnetenversammlung. Allerdings fehlen bei Einzelfallstudien oft Bezüge zu anderen Verfahren, so dass die Ergebnisse nur schlecht vergleichend eingeordnet werden können.
Zeitreihen wie in Berlin-Lichtenberg und vergleichende Studien zum Beispiel zu Bürgerhaushalten in Berlin und Brandenburg (Herzberg and Cuny 2007) oder in Großbritannien (SQW Consulting 2010) bieten hier Abhilfe. Der Vergleich von Verfahren im Zeitverlauf oder von mehreren Verfahren ermöglicht insbesondere eine bessere Einordnung quantitativer Daten. Es ist auch ein Vergleich von Bürgerhaushalten mit anderen Verfahren der Bürgerbeteiligung oder anderen Formen der Haushaltsaufstellung denkbar, wenn zum Beispiel interessiert, ob Bürgerhaushalte den Schuldenabbau fördern. Die Nutzung quantitativer Daten ermöglicht anschauliche Vergleiche. Wichtig ist, korrekte Bezugsgrößen zu wählen und die Besonderheiten der jeweiligen Verfahren zu berücksichtigen. So ist die absolute Zahl der Teilnehmenden wenig aussagekräftig, besser ist es, die relative Zahl bezogen auf die Wahlberechtigen anzugeben.
Beispielhafte Daten: Teilnehmende
Im Vordergrund einiger Evaluationen stehen Befragungen der Teilnehmenden und Verfahrensanalysen, zum Beispiel: Wer hat am Verfahren teilgenommen? Ist das Verfahren fair verlaufen? Wie beurteilen die Beteiligten die Durchführung? Anhand einiger Daten über Teilnehmende werden beispielhaft einige Ergebnisse diskutiert.
Häufig werden Beteiligungsverfahren dann als erfolgreich betrachtet, wenn die Zahl der Teilnehmenden besonders hoch ist, deren Zusammensetzung repräsentativ für die Bevölkerung ist und wenn nicht die „üblichen Verdächtigen“, sondern möglichst viele „normale“ Bürgerinnen und Bürger beteiligt werden. Die Zahl der Beteiligten liegt in Deutschland zwischen 0,1 (Bonn 2007, Bürgerversammlungen) bis 1,8 Prozent (Trier 2009, Internet) der Wahlberechtigten. Ähnliche Zahlen finden sich in Spanien (Ganuza 2010). Durch das Internet scheinen insbesondere in Deutschland Viele erreicht zu werden.
Zumindest bei den ersten Durchgängen der Bürgerhaushalte sind zumeist Männer im Alter zwischen 25 bis 45 überproportional vertreten. In Berlin-Lichtenberg ist hingegen der Anteil der Frauen leicht höher, was in Spanien für Verfahren gilt, die bereits mehrere Jahre durchgeführt wurden; anfangs sind auch dort mehr Männer vertreten. In brasilianischen Bürgerhaushalten zeigt sich, dass der Frauenanteil bei Gremien mit gewählten Delegierten geringer ist als bei den Stadtteilversammlungen (Serageldin et al. 2003:10).
In Lichtenberg könnte sich auf den Frauenanteil positiv auswirken, dass mit der Bezirksbürgermeisterin eine Frau an der Spitze der Verwaltung steht und über das Bezirksamt und die Stadtteilmanagerinnen besonders viele Frauen das Verfahren betreuen. Eine Zufallsauswahl der Teilnehmenden, die in Bergheim und in Steinfurt für Bürgerversammlungen genutzt wurde, kann eine ausgewogene Beteiligung hinsichtlich Alter und Geschlecht bewirken.
Aber, soll die statistische Repräsentativität ein wichtiger Maßstab sein? Ist es nicht wichtiger, wenn die Menschen mitmachen, die wichtige Beiträge liefern wollen? Reicht die faire Möglichkeit zur gleichberechtigten Teilnahme? Ist die Qualität der Ergebnisse ein wichtigeres Kriterium? Die Ergebnisse von Online-Prognosemärkten zeigen zumindest, dass trotz einer nicht-repräsentativen Zusammensetzung ähnliche und sogar bessere Prognosen über den Ausgang von Wahlen möglich sind, als durch repräsentative Befragungen (Surowiecki 2005).