Diagramm

14.10.2014 | Von:
Anne Jessen

Was steckt hinter den Zahlen? Methoden der Demoskopie

Nonresponse: Ungelöstes Problem

Die induktive Statistik, also der erlaubte Rückschluss von einer Teilmenge auf die Gesamtheit, geht theoretisch davon aus, dass alle Elemente der Stichprobe nun auch tatsächlich befragt werden. Dies ist in der Realität aber nicht umsetzbar. Die Gründe für diese Ausfälle (nonresponse) sind vielfältig. Grundsätzlich wird zwischen qualitätsneutralen und systematischen Ausfällen unterschieden. Erstere sind technische Fehler aller Art (zum Beispiel ein Faxanschluss); eine Bereinigung der Bruttostichprobe um diese Nummern hat keinerlei Auswirkungen auf die Qualität der Stichprobe. Anders verhält es sich bei den systematischen Ausfällen – im Wesentlichen handelt es sich dabei um jedwede Art, das Interview zu verweigern.[14]

So einfach wie diese simple Einteilung vermuten lässt, ist die Umsetzung in der demoskopischen Arbeit aber nicht. Worunter werden beispielsweise Ausfälle von Interviews gezählt, bei denen die Zielperson zu jedem Kontaktversuch nicht anwesend war? Wäre sie nur zufällig zu diesen Zeiten nicht im Haus, könnte dieser Ausfall als qualitätsneutral gezählt werden. Anders sähe es aber aus, wenn diese Person grundsätzlich zu diesen Zeiten nicht erreichbar wäre, beispielsweise durch ihre Arbeitszeiten. Seriöse Umfrageinstitute versuchen daher möglichst variationsreich zu kontaktieren. Aber auch weitere nicht zustande gekommene Interviews bereiten bei der Einteilung Schwierigkeiten. Dieser Umstand legt das Grundproblem frei: In der deutschen Meinungsforschung gibt es keine Standardisierung für die Berechnung der Ausschöpfung einer Stichprobe (Ausschöpfungsquote). Erschwerend kommt hinzu, dass die Institute ihre Berechnungsweise als Betriebsgeheimnis hüten, und damit jegliche Transparenz und Vergleichsmöglichkeit fehlt. Auch entziehen sie sich damit einer Qualitätskontrolle durch Außenstehende.

Aus den wissenschaftlichen Veröffentlichungen von Dieter Roth und Elisabeth Noelle-Neumann, dem Gründer und der Gründerin zweier renommierter Umfrageinstitute – der Forschungsgruppe Wahlen sowie dem Institut für Demoskopie Allensbach –, lassen sich an den Berechnungsbeispielen erste Unstimmigkeiten ablesen. Während Roth Krankheit, Alter, Sprach- oder Hörprobleme als systematische Ausfallgründe definiert, klassifiziert Noelle-Neumann sie als qualitätsneutral.[15] In der Öffentlichkeit ist folglich keine Auseinandersetzung mit der Ausschöpfungsquote möglich, obwohl diese in der Qualitätskontrolle eine wesentliche Rolle spielt. In dem angesprochenen Berechnungsbeispiel der Forschungsgruppe Wahlen belief sich die Ausschöpfungsquote auf etwa 50 Prozent. Dieser Wert ist sicherlich kein Ausreißer, sondern eher eine Orientierungsgröße in der aktuellen Demoskopie. Das muss bei der Einordnung und Interpretation der Ergebnisse berücksichtigt werden, denn die Hälfte der Personen, die eigentlich befragt werden sollten, fallen aus. Anzunehmen, dass diese ein ähnliches Antwortverhalten wie die kooperativen Personen hätten, wäre trügerisch.

Nonresponse kann aber nicht nur im Ausfall eines kompletten Interviews auftreten, sondern auch in der Verweigerung einzelner Fragen. Dies geschieht vor allem bei der Sonntagsfrage. Dem Interviewten werden bei dieser Frage in der Regel die Parteien vorgelesen. Ist sich der Befragte aber noch unsicher oder möchte seine Wahl nicht preisgeben, dann muss er aktiv "weiß nicht" angeben. Kurz vor der Bundestagswahl 2005 machten gut ein Viertel der Befragten von dieser Möglichkeit Gebrauch. Erstaunlicherweise tauchte diese Antwort allerdings so gut wie nie in den veröffentlichten Zahlen auf, hier wurden nur die Parteinennungen (auf 100 Prozent summiert) aufbereitet dargestellt. Der Mangel an einer wichtigen Information wurde damit ausgeblendet. Aber nicht nur für die Einschätzung der Entscheidungs- und Stimmungslage ist dieses Detail von entscheidender Wichtigkeit, sondern auch für die Prognosefähigkeit der restlichen Zahlen, denn: Je größer der Anteil der unentschlossenen Befragten vor der Wahl ist, desto dramatischer können sich die Stimmungswerte kurzfristig noch verschieben. Und ob diese mit den Instrumenten der Wahlforschung dann noch eingefangen werden können, ist nicht sicher. 2005 funktionierte dies jedenfalls nicht.[16]

Zusammengefasst ist nonresponse ein sehr unangenehmes Problem für die Demoskopie, für das noch keine adäquaten Lösungen gefunden werden konnten, da es vielleicht auch gar keine gibt. Das Spannungsfeld aus Theorie und Praxis wird hier besonders deutlich, denn obwohl die Theorie der Zufallsstichprobe davon ausgeht, dass jedes Element der Stichprobe befragt werden muss, gelingt das den Meinungsforschungsinstituten trotz aller Bemühungen nicht. Zudem muss jedes Element dieselbe Auswahlwahrscheinlichkeit besitzen – wie bereits bei der Coverage-Problematik angesprochen, entspricht dies auch nicht der Realität. Wie gehen also die Meinungsforscher damit um? Sie gewichten – und dazu stehen drei verschiedene Verfahren zur Verfügung.

Gewichtung

Das erste und bedeutendste Gewichtungsverfahren ist die Haushaltsgewichtung. Hierbei werden die verschiedenen Wahrscheinlichkeiten, eine Zielperson im Haushalt auszuwählen, ausgeglichen, denn eine alleinlebende Person hat eine größere Teilnahmewahrscheinlichkeit als jemand aus einem Mehrpersonenhaushalt. Die Gewichtung nach sozialstrukturellen Merkmalen (redressment) kommt zum Tragen, wenn bestimmte Bevölkerungsgruppen, gemessen an der Grundgesamtheit, unter- oder überrepräsentiert sind. Sie müssen also hoch- beziehungsweise runtergewichtet werden. Beispielsweise wurden bei einer Umfrage, die während einer Fernsehübertragung von der Fußballweltmeisterschaft 2006 stattfand, deutlich weniger junge Männer erreicht. So ärgerlich diese Ausfälle sind, so wenig verwundern sie in diesem Fall allerdings auch. Die Befragten aus dieser Gruppe mussten somit hochgewichtet werden. Dies ist insofern problematisch, als nicht davon ausgegangen werden kann, dass Fußballfans und Nichtfans sich in ihren Präferenzen und daher in ihrem Antwortverhalten ähneln. Das Runtergewichten, das häufige Anwendung bei Rentnern findet, die sich bei Umfragen sehr kooperativ zeigen, dadurch aber überrepräsentiert sind, ist hingegen kein größeres Problem, da es die Struktur der Stichprobe nicht negativ beeinflusst.

Die dritte und sicher auch die umstrittenste Gewichtungsmöglichkeit ist die sogenannte Recall-Gewichtung. Hierbei wird aus dem Wert der sogenannten Rückerinnerungsfrage ("Würden Sie mir sagen, welche Partei Sie bei der letzten Wahl gewählt haben?") im Vergleich zum vergangenen Wahlergebnis ein Gewicht konstruiert. Wird eine Partei in der Erinnerung unterschätzt, wird der Wert der Wahlabsichtsfrage für diese Person gemäß hochgewichtet. Runtergewichtet wird im entsprechend umgekehrten Fall. Die empirische Hypothese dieses Verfahrens ist, dass die Verzerrung in der Erinnerung in Richtung und Stärke dem Bias der Sonntagsfrage entsprechen. Diese Argumentation vollzieht sich indes auf tönernen Füßen.

Die Gewichtung ist ein nötiges, wenn auch kein gern gesehenes methodisches Instrument. Während die Haushaltsgewichtung sehr wichtig für die Qualität der Umfrage ist, ist das redressment schon sehr viel kritischer zu sehen, da Verzerrungen innerhalb der Stichprobe verdeckt werden können. Die Recall-Gewichtung schließlich entbehrt jeglicher theoretischen Grundlage. Alle drei Verfahren finden in der politischen Meinungsforschung allerdings Verwendung. Für eine bessere Nachvollziehbarkeit von Umfrageergebnissen wäre es wichtig, dass die Institute auch die Verfahren und verschiedenen Gewichtungsmethoden gemeinsam mit den Zahlen veröffentlichen.

Fußnoten

14.
Vgl. D. Roth (Anm. 7), S. 86.
15.
Vgl. ebd., S. 87; Elisabeth Noelle-Neumann/Thomas Petersen, Alle, nicht jeder. Einführung in die Methoden der Demoskopie, Berlin u.a. 20003.
16.
Vgl. Anne Jessen, Perspektiven der politischen Meinungsforschung. Demoskopische Ergebnisse im Spannungsfeld von Theorie, Praxis und Öffentlichkeit, Wiesbaden 2014, S. 137ff.
Creative Commons License

Dieser Text ist unter der Creative Commons Lizenz "CC BY-NC-ND 3.0 DE - Namensnennung - Nicht-kommerziell - Keine Bearbeitung 3.0 Deutschland" veröffentlicht. Autor/-in: Anne Jessen für Aus Politik und Zeitgeschichte/bpb.de

Sie dürfen den Text unter Nennung der Lizenz CC BY-NC-ND 3.0 DE und des/der Autors/-in teilen.
Urheberrechtliche Angaben zu Bildern / Grafiken / Videos finden sich direkt bei den Abbildungen.