Trauen Sie keiner Umfrage, die Sie nicht selbst gefälscht haben!

Es ist bekannt, dass die Ergebnisse einer Umfrage das Wahlverhalten von Menschen beeinflussen können. In Österreich ist das unter anderem seit längerer Zeit ein Thema (Beispiel die sog. Beinschab-Affäre). Daher ist es wichtig, auf die Seriosität einer Umfrage zu achten, bevor man ihr Glauben schenkt. Ein Artikel von Dr.sc.ETH Sabrina Dorn, Statistikerin.

Autor: Mimikama

Insbesondere politische Umfragen gibt es regelmäßig und sie sind auch durchaus spannend, da sie am Ende ein repräsentatives Spiegelbild des aktuellen Wahlverhaltens einer Gesellschaft sein sollen und uns damit zeigen, „welcher Wind“ gerade in einer Gesellschaft weht und wohin die Meinungen in ihr gehen.

Sicherlich wissen wir alle, dass für ein Umfrageergebnis – allein schon aus Kostengründen – nicht alle Menschen einer Gesellschaft befragt werden können, sondern nur einige davon. Diese Einigen sollten so ausgewählt werden, dass die Stichprobe dann vor allem eines ist: Ein möglichst genaues, „verkleinertes“ Abbild der Grundgesamtheit. Ist diese Eigenschaft erfüllt, dann sprechen wir von einer repräsentativen Stichprobe.

Ganz generell, geht es bei Umfragen nämlich darum anhand einer Stichprobe mittels einer anschließenden statistischen Auswertung etwas über die jeweilige Grundgesamtheit auszusagen. Ist eine Stichprobe aber nicht repräsentativ für die jeweilige Grundgesamtheit, so ist sie verzerrt und den aus ihrer statistischen Auswertung abgeleiteten Aussagen über die Grundgesamtheit von Interesse kann man nicht trauen. Seriöse Umfrageinstitute vermeiden so einen Fehler und im Folgenden werden wir uns gemeinsam ansehen, warum das so wichtig ist.

Politische Umfragen

Vor politischen Wahlen, aber auch sonst regelmäßig, wird Personen aus einer Stichprobe die klassische „Sonntagsfrage“ gestellt, bei der gefragt wird, welche Partei jemand aktuell wählen würde. Bei dieser Art von Meinungsumfrage möchte man etwas über das aktuelle Abschneiden von Parteien in der Grundgesamtheit, z.B. der wahlberechtigten Bevölkerung einer Stadt, erfahren. Üblicherweise werden die Ergebnisse solcher Sonntagsfragen im Anschluss medial verbreitet und entsprechend interpretiert.

Auch in der Marktforschung gibt es Umfragen und es ist nicht allzu unwahrscheinlich, dass sich jemand schon einmal dabei ertappt hat, ein dann doch nicht so großartiges Haarschampoo oder eine Zahnpasta etc. gekauft zu haben, weil es in der Werbung hieß, dass 95% aller befragten Verbraucher gesagt hätten, dass das Produkt „Wunder“ vollbringen kann und das dann doch nicht so war. Und daran sehen wir auch ganz genau, auf was so eine Werbung eigentlich abzielt: Die schier hohe Zustimmung von 95% soll Menschen überzeugen, dieses Produkt zu kaufen, was nicht verwunderlich ist, da wir ja alle wissen, dass im Hintergrund ein auf Gewinn ausgerichtetes Unternehmen steht und naja, dann schmeckt die Zahnpasta halt einmal nicht so fantastisch und wir kaufen beim nächsten Mal eben eine andere.

Nun gut, aber die Ergebnisse von Wahlumfragen sind hier doch bedeutungsvoller für eine freie und demokratische Gesellschaft, denn (auch) sie wirken am Ende meinungsbildend und beeinflussen die Wahlentscheidung von Personen bei realen demokratischen Wahlen! Dieses durch zahlreiche wissenschaftliche Studien belegte und gut erforschte Phänomen ist unter dem Namen Bandwagon- oder Mitläufereffekt bekannt. Dieser Effekt wurde von Paul Felix Lazarsfeld im Zusammenhang mit Wahlprognosen in den USA in den 1960ern erstmals untersucht.

Kurz gesagt: Der Mitläufereffekt äußert sich dadurch, dass ein „Gewinner“ einer Umfrage nach Veröffentlichung dieser sogar noch stärker werden kann, weil Menschen gerne der Mehrheit oder dem Gewinner folgen. Man kann sich das dadurch erklären, dass Menschen für sich selbst Rückschlüsse aus den Entscheidungen anderer ziehen und nach dem Motto „was für andere gut ist, muss auch für mich gut sein“ dazu neigen einer Mehrheitsmeinung zu folgen.

Es ist damit einleuchtend, dass diese Form der „irreführenden Wahlwerbung“ ein äußerst effektives Mittel des Dirty-Campaignings im politischen Umfeld darstellt. Speziell wenn Umfragen im Vorfeld von Wahlen manipulativ beeinflusst werden. Und genau das war unter anderem ein Vorwurf in der sogenannten „Causa Beinschab“. Der Vorwurf lautete, dass geschönte Umfrageergebnisse die Beliebtheit des damals aufstrebenden Jung-Politikers und späteren österreichischen Bundeskanzlers Sebastian Kurz gezielt gestärkt haben. Die Umfragen wurden entsprechend stark medial verbreitet und damit dürfte ein Mitläufereffekt erzwungen worden sein. Diese Vorgehensweise hat mit dem Begriff „Beinschab-Tool“ dann auch einen Namen bekommen. Bis heute beschäftigt der Fall übrigens immer noch die Wirtschafts- und Korruptionsstaatsanwaltschaft.

Es ist mehr als nur klar, dass gezielte Manipulationen der Wählerschaft bei der Meinungsbildung durch strategisch platzierte, gezinkte Beliebtheitswerte einer politischen Partei das freie Wahlrecht beeinflussen. Das freie Wahlrecht stellt einen verfassungsmäßig garantierten und zum Funktionieren einer echten Demokratie unerlässlichen Grundsatz dar (siehe Artikel 26 Bundes-Verfassungsgesetz der Republik Österreich und Artikel 38 Grundgesetz der Bundesrepublik Deutschland).

Beispiel Mien und die orange Partei

Gehen wir an dieser Stelle einmal ins Detail und schauen uns an, wie genau bereits im Vorfeld eine geschönte Umfrage durch eine gezielte Manipulation der Stichprobe entstehen kann. Dazu werden wir uns im Folgenden ein fiktives Beispiel ansehen. Dieses Beispiel zeigt uns den Vergleich zwischen einer repräsentativen und einer „gezinkten“ Stichprobe von 1000 wahlberechtigten Personen und wie man hier mittels einfacher Grundrechenarten gezielt eine gezinkte Stichprobe konstruieren kann.

In der fiktiven Stadt Mien gibt es 3 Wahlbezirke (der Einfachheit halber A, B und C genannt), sowie 3 Parteien (rote, orange und graue Partei). Insgesamt sind 1 Mio. Menschen wahlberechtigt und (wie in vielen Städten dieser Welt) variiert die Beliebtheit der drei Parteien über Miens Wahlbezirke. Die wahren Stimmanteile in einem jeden der Wahlbezirke Miens seien in diesem Beispiel bekannt.

Wir gehen damit also von folgenden Zahlen aus:

  • Wahlbezirk A: 300000 Wahlberechtigte (rote Partei 70%, orange Partei 10% und graue Partei 20%)
  • Wahlbezirk B: 100000 Wahlberechtigte (rote Partei 55%, orange Partei 25% und graue Partei 20%)
  • Wahlbezirk C: 600000 Wahlberechtigte (rote Partei 50%, orange Partei 12% und graue Partei 38%)

Nun soll eine Meinungsumfrage mit einer Stichprobengröße von 1000 Personen durchgeführt werden, bei der die Teilnehmer:innen nach der Partei gefragt werden, welche sie aktuell wählen würden.

Bevor wir uns nun genauer mit diesem Beispiel beschäftigen, gilt es folgende zwei Dinge zu beachten:

Beachte 1:

Wir sehen in den einzelnen Wahlbezirken entsprechend unterschiedliche Ergebnisse und unterschiedliche Anteile an der insgesamt wahlberechtigten Bevölkerung (also 3/10 Wahlbezirk A, 1/10 Wahlbezirk B und 6/10 Wahlbezirk C). Wer nun mag, kann sich eine einfache Formel aufbauen, mit der das Gesamtergebnis für die Stadt Mien errechnet werden kann. Daraus resultieren folgende Gesamtergebnisse für die rote, die orange und die graue Partei:

  • \(\text{Wahrer Anteil rote Partei} = 70\%*\frac{3}{10} + 55\%*\frac{1}{10} + 50\%*\frac{6}{10} = 56.5\%\)

  • \(\text{Wahrer Anteil orange Partei} = 10\%*\frac{3}{10} + 25\%*\frac{1}{10} + 12\%*\frac{6}{10} = 12.7\%\)

  • \(\text{Wahrer Anteil graue Partei} = 20\%*\frac{3}{10} + 20\%*\frac{1}{10} + 38\%*\frac{6}{10} = 30.8\%\)

Damit ist die rote Partei die stimmenstärkste Partei der Stadt mit 56.25%, gefolgt von der grauen Partei mit 30.80% und an letzter Stelle die orange Partei mit einem Gesamtstimmenanteil von 12.70%.

Beachte 2:

Für eine Stichprobe im Umfang von 1000 Beobachtungen kann der Stimmenanteil einer Partei an der Grundgesamtheit wie folgt geschätzt werden: \[\begin{align} \text{Geschätzter Anteil Partei }k &= \frac{\text{Anzahl Ja-Antworten Partei k}}{1000} \end{align}\] Der nach dieser Formel ermittelte Schätzwert liefert erwartungsgemäß (bzw. bei einer großen und repräsentativen Stichprobe) den jeweils wahren Stimmanteil einer Partei an der Grundgesamtheit, d.h. wenn wir ganz viele solcher Stichproben ziehen würden, dann würden wir meistens den wahren Wert erwischen und müssten nur mit geringen und vor allem zufälligen Abweichungen des Ergebnisses von diesem Wert rechnen. Eine Statistiker:in würde im Fachjargon sagen, dass der Schätzer aus Formel (1) erwartungstreu und konsistent für die wahren Anteile an der Grundgesamtheit ist, gegeben, dass die Stichprobe für die Grundgesamtheit repräsentativ ist, also quasi ein “verkleinertes Abbild” Miens.

Fall 1: Repräsentative Stichprobe

In diesem ersten Fall wollen wir aus dem Pool möglicher zu befragenden Personen (also aus dem Pool aller Wahlberechtigten) eine Stichprobe erheben, die möglichst genau die wahlberechtigte Bevölkerung Miens widerspiegelt. Für eine solche echte Zufallsstichprobe gilt, dass für alle wahlberechtigten Personen aus Mien die gleiche Wahrscheinlichkeit besteht, für die Umfrage ausgewählt zu werden. Daraus ergibt sich dann auch, dass wir uns erwarten können, dass in der resultierenden Stichprobe Wahlberechtigte aus den drei Wahlbezirken entsprechend ihren Anteilen an der Grundgesamtheit repräsentiert sind.

In der Praxis wird es sich aber häufig so verhalten, dass etwa bei einer Telefonumfrage nicht alle Arten von wahlberechtigten Personen gleich wahrscheinlich zu erreichen sind und, dass im Vorfeld der Stichprobenerhebung bereits sichergestellt werden muss, dass Teilnehmer:innen – ihrem Anteil an der Grundgesamtheit entsprechend – auch in der Stichprobe enthalten sind. Im Ergebnis ist für so eine repräsentative Zufallsstichprobe zu erwarten, dass die geschätzten Anteile aller drei Parteien im Durchschnitt den wahren Anteilen in der Grundgesamtheit entsprechen und obiger Schätzer aus Formel (1) für den wahren Anteil einer Partei in der Grundgesamtheit, abgesehen von kleinen nicht systematischen und damit zufälligen Abweichungen, den korrekten Wert liefert. Das würde zu einem repräsentativen und ungeschönten Ergebnis führen. Doch schauen wir nun auf Fall 2.

Fall 2: Ein geschöntes Ergebnis für die orange Partei

Nun soll eine Stichprobe erhoben werden, bei deren Auswertung herauskommen soll, dass die orange Partei stärker dasteht als sie es tatsächlich tut, also anstatt der wahren 12.7% in der Grundgesamtheit soll herauskommen, dass man um \(x\) Prozentpunkte besser abschneidet, also mit \((12.7 + x)\%\). Von der letzten Mien-weiten Wahl weiß man, dass die orange Partei in Bezirk B besonders gut abschneidet und in den Bezirken A und C eher schlecht. Für dieses Beispiel gehen wird davon aus, dass die wahren Stimmanteile der orangen Partei einem derer internen Strategen bekannt sind, was in der Praxis aufgrund verfügbarer oder erhebbarer Vorabinformationen auch so ungefähr zutrifft.

Wenn wir nun also mit dem Hintergrundwissen des erfahrenden internen Strategen der orangen Partei eine Stichprobe aus den wahlberechtigten Personen aus den drei Wahlbezirken genauso konstruieren wollen, dass die blaue Partei um \(x\) Prozentpunkte besser dasteht als sie es eigentlich tut, dann kann man sich das mit einfachen Grundrechenarten überlegen:

Für \(w_A\), \(w_B\) und \(1-w_A-w_B\), die sich auf 1 aufsummierenden Anteile der Stichprobe in den drei Bezirken, gilt für das Gesamtergebnis folgende Gleichung: \[\begin{align*} (12.7 + x)\% &= w_A*10\% + w_B*25\% + (1-w_A - w_B)*12\% \end{align*}\] Fixieren wir nun den im für die orange Partei ohnehin nicht so vorteilhaften Wahlbezirk A zu erhebenden Anteil der Stichprobe mit \(w_A=0.1\), dann können wir obige Gleichung ganz einfach nach \(w_B\) auflösen und erhalten: \[\begin{align} w_B &= \frac{(12.7 + x)\% - 12\%}{25\% - 12\%} + 0.1*\frac{12\% - 10\%}{25\% - 12\%} \end{align}\] Also wissen wir nun, dass wenn wir von den 1000 zu befragenden Personen 10% davon in Wahlbezirk A befragen, also 100, wir uns die in den Wahlbezirken B und C zu erhebenden Anteile entsprechend Formel (2) bzw. aus dem Zusammenhang \(w_C = 1 - w_A - w_B\) einfach ausrechnen können.

Der Zusammenhang in Formel (2) beschreibt eine lineare Funktion (also eine Gerade). Nachstehend haben wir diese Funktion gezeichnet. Auf der x-Achse sind die zusätzlich erwünschten Prozentpunkte \(x\) aufgetragen und auf der y-Achse der zugehörige Anteil an Wahlberechtigen, die man in Bezirk C befragen muss, um auf das gewünschte Ergebnis von \((12.7 + x)\%\) zu kommen. Wäre es z.B. beabsichtigt, dass anstatt des wahren Anteils der orangen Partei ein Anteil von 18%, also mum \(x=5.3\) Prozentpunkte mehr als in Wirklichkeit, dann können wir diesen Wert einfach auf der x-Achse fixieren und den zugehörigen Wert auf der y-Achse nachschauen, was in diesem Fall einen Anteil von rund \(w_C=0.48\) für den in Bezirk C zu erhebenden Teil der Stichprobe ergibt. In ganzen Zahlen wissen wir dann, dass wir von den 1000 zu befragenden Personen 480 davon in Bezirk C befragen müssen. Dieses Lesebeispiel dafür, wie dieser Zusammenhang funktioniert ist in der Grafik durch die durchbrochenen grauen Linien gekennzeichnet.

MIMIKAMA

Wir sehen also, dass einfache mathematische Grundkenntnisse aus der Mittelschule dazu ausreichen um die Zusammensetzung einer Stichprobe gezielt zu manipulieren.

Für Geeks: Zufallszahlensimulation

Für besonders interessierte Leser:innen, führen wir nun auf Basis der oben angestellten Überlegungen eine Zufallszahlensimulation durch. Wem das zu viel Mathematik ist, kann diesen Abschnitt auch einfach überspringen, denn die wesentliche Grundüberlegung haben wir uns ja bereits im vorigen Abschnitt angesehen.

Für die Simulation nehmen wir an, dass die orange Partei mit einem Wunschergebnis von ca. 18% Zuspruch anstatt der wahren 12.7% nach der Umfrage dastehen möchte.

Dazu simulieren wir im ersten Schritt die fiktive Stadt Mien mit ihren 1 Mio. wahlberechtigten Personen, verteilt über die 3 Wahlbezirke mit unterschiedlichen politischen Präferenzen wie oben angenommen.

Aus dieser Grundgesamtheit werden dann im nächsten Schritt 10000 Stichproben der Größe 1000 gezogen, jeweils einmal für eine repräsentative Zufallsstichprobe und einmal für eine gezinkte Stichprobe, in der die orange Partei - entsprechend obigen Überlegungen zu Formel (2) - mit ca. 18% abschneidet anstatt mit dem wahren Anteil von 12.7%. Für eine jede aus den 10000 Wiederholungen dieses Zufallsexperiments werden dann die geschätzten Stimmanteile einer jeden der drei Parteien entsprechend Formel (1) berechnet und am Schluss ihre Verteilung über alle Wiederholungen grafisch dargestellt.

Die Ergebnisse dieser Zufallszahlensimulation sind in der untenstehenden Grafik mittels so genannter Boxplots zusammengefasst, oben für die repräsentative Zufallsstichprobe und unten für die gezinkte Stichprobe. (Ein Boxplot oder Kastendiagramm stellt eine Häufigkeitsverteilung dar, die mittels der Bezugspunkte Median, des ersten und dritten Quartals und Maximal- und Minimalwerten dargestellt ist.)

Die gestrichelten Linien in den beiden Grafiken stellen den Durchschnitt der nach Formel (1) geschätzten Anteile der drei Parteien über die 10000 Ziehungen dar und die farbigen Linien in rot, orange und grau die jeweils wahren Werte in der simulierten Grundgesamtheit von 1 Mio. wahlberechtigten Miener:innen. Liegen die jeweils zusammengehörige farbige und gestrichelte Linien exakt aufeinander, so wie das in der oberen Grafik für die repräsentative Stichprobe der Fall ist, dann liefert der Schätzer aus Formel (1) im Durchschnitt den wahren Wert. In der unteren Grafik für die gezinkte Stichprobe sticht einem die diesbezügliche Abweichung für die orange Partei direkt ins Auge: Tatsächlich erhält die orange Partei im Durchschnitt rund 18.1% der Stimmen anstatt der wahren rund 12.7%.

Die durch die Whisker (schwarze Enden oben und unten in den einzelnen Boxplots) dargestellten Maximal- und Minimalwerte der Streuung der simulierten empirischen Ergebnisse über die 10000 Wiederholungen unseres Zufallsexperiments vermitteln uns darüber hinaus einen Eindruck, wie groß und wie wahrscheinlich zufallsgetriebene Abweichungen vom durchschnittlichen Wert über alle Wiederholungen im Rahmen einer einzelnen Stichprobenziehung sein können. Tatsächlich liegt der minimale Wert für die orange Partei über alle 10000 Wiederholungen bei 14.1% und der maximale Wert bei 22.5%, allerdings wird ein Wert von 15.4% nur in 1% aller Wiederholungen unter- und ein Wert von 20.9% nur in 1% aller Wiederholungen überschritten.

MIMIKAMA

Umfragen verschönen ist unseriös!

Oben haben wir uns gemeinsam angesehen, wie einfach es eigentlich ist eine Stichprobe gezielt so zu manipulieren, dass das Ergebnis einer auf ihr beruhenden Umfrage in eine gewünschte Richtung geht.
Im Grunde reichen dazu sogar einfache mathematische Grundkenntnisse aus der Mittelschule aus, um sich die entsprechenden Überlegungen herzuleiten. Geschönte Umfragen dienen der Meinungsmache und hoffen auf den Mitläufereffekt. Dieser beeinflusst das freie Wahlrecht und solche Strategien des “Dirty Campaignings” sind ein Angriff auf unsere Demokratie.

Unseriös erstellte Umfragen können sich unter anderem dadurch verraten, dass sie ohne Nennung des wahren Auftraggebers veröffentlicht werden oder gar im Auftrag einer Partei erfolgen. Für uns ist es daher nicht nur wichtig, die Auftraggeber von Umfragen zu kennen, sondern auch das durchführende Institut (wenn es nicht gar eine Marketingagentur ist) und die Stichprobe bewerten zu können.

Vor der Interpretation der Ergebnisse einer Sonntagsfrage müssen wir also zuerst kritisch auf die Repräsentativität der Datengrundlage für die zugehörige Grundgesamtheit achten! Die Art einer Umfrage ist ebenfalls nicht unwichtig, da es Unterschiede in Telefon- und Onlineabstimmungen gibt. Klingt banal, aber auch hier kann ich bereits manipulativ eingreifen: Eine Telefonumfrage, die auf Festnetzrufnummern basiert, wird definitiv ein anderes (womöglich konservativeres) Ergebnis mit sich bringen als eine Umfrage über Onlineformulare.

Wenn also jemand im Vorfeld bereits weiß, wie sich bestimmte Menschen verhalten und welches Ergebnis zu erwarten ist, kann ich in der Tat die Ergebnisse manipulieren. Deshalb immer dann, wenn einem jemand eine Umfrage präsenteiert, sollte man jedenfalls nach der Zusammensetzung der Stichprobe fragen und Instituten, welche hier nicht transparent agieren, sollte man nicht trauen.



Autorin: Dr.sc.ETH Sabrina Dorn, Statistikerin
Lektorat: Andre Wolf

Das könnte ebenso interessieren: „Wenn wir nicht mehr `Grüß Gott´ sagen dürfen…“. Ein freundliches „Grüß Gott“ zur Begrüßung der Schüler und Schülerinnen sei angeblich nicht angebracht. Weiterlesen ...


Hinweis: Dieser Inhalt gibt den Stand der Dinge wieder, der zum Zeitpunkt der Veröffentlichung aktuell
war. Die Wiedergabe einzelner Bilder, Screenshots, Einbettungen oder Videosequenzen dient zur
Auseinandersetzung der Sache mit dem Thema.

MimikamaPLUS-Inhalte