Konfidenzintervall-Rechner

So funktioniert der Konfidenzintervall-Rechner

Der Konfidenzintervall-Rechner beantwortet die Frage, die hinter jeder Umfrage und jeder Messreihe steht: Wie weit darf der wahre Wert vom gemessenen abweichen? Für einen Anteil, etwa 42 Prozent Zustimmung bei 1.000 Befragten, geben Sie Prozentwert, Stichprobengröße und Konfidenzniveau ein, für einen Mittelwert, etwa 72,5 Punkte bei 50 Messungen, zusätzlich die Standardabweichung, und der Rechner liefert die untere und obere Grenze des Vertrauensbereichs, die Fehlerspanne in Plus-minus-Punkten, den Standardfehler und die Stichprobengröße, die für eine kleinere Spanne nötig wäre. Das ist der Rechner für Sonntagsfragen, Kundenbefragungen, Qualitätsprüfungen und jede Statistikaufgabe mit "mit 95-prozentiger Sicherheit".

Merksatz: 1.000 Befragte ergeben plus-minus 3 Punkte, und für die halbe Spanne braucht man die vierfache Stichprobe. Die Eselsbrücke für die z-Werte: 1,645 für 90, 1,96 für 95, 2,58 für 99 Prozent, und je sicherer, desto breiter.

Drei Beispiele:

• Sonntagsfrage, 42 Prozent bei 1.000 Befragten, 95 Prozent: Vertrauensbereich 38,9 bis 45,1 Prozent, Fehlerspanne plus-minus 3,1 Punkte; für plus-minus 1 Punkt wären 9.359 Befragte nötig.
• Dieselbe Umfrage mit nur 250 Befragten: 35,9 bis 48,1 Prozent, Fehlerspanne plus-minus 6,1 Punkte, die Partei könnte bei 36 oder 48 liegen.
• Mittelwert 72,5 Punkte, Standardabweichung 8,4, 50 Messungen, 95 Prozent: 70,17 bis 74,83, Standardfehler 1,188, Fehlerspanne plus-minus 2,33; für die halbe Spanne wären 200 Messungen nötig.

Formeln: Anteil: p ± z × √(p × (1 - p) / n), Mittelwert: x̄ ± z × s / √n, nötiges n für Spanne e: z² × p × (1 - p) / e². Die Standardabweichung, die beim Mittelwert eingeht, rechnet der Standardabweichungsrechner, und die Wahrscheinlichkeit einzelner Ja-Nein-Ergebnisse der Binomialverteilungsrechner.

Wissenswertes zum Thema

Was 95 Prozent wirklich bedeuten

Das Konfidenzintervall wird fast immer falsch erklärt, auch in Zeitungen, deshalb zuerst die saubere Fassung: Ein 95-Prozent-Intervall von 38,9 bis 45,1 heißt nicht, dass der wahre Wert mit 95 Prozent Wahrscheinlichkeit darin liegt, denn der wahre Wert ist fest und entweder drin oder nicht; es heißt, dass das Verfahren, das dieses Intervall erzeugt hat, bei unendlich vielen Wiederholungen der Umfrage in 95 Prozent der Fälle ein Intervall liefert, das den wahren Wert einschließt, und in 5 Prozent eines, das danebenliegt. Praktisch läuft das auf dasselbe hinaus, man darf dem Intervall vertrauen, aber mit dem Wissen, dass jede zwanzigste Umfrage daneben liegt, ohne dass jemand es merkt. Das Konfidenzniveau wählt man vorher: 90 Prozent für Marktforschung und schnelle Entscheidungen, 95 Prozent als Standard in Wissenschaft und Umfragen, 99 Prozent für Medizin und Sicherheit, und der Preis der Sicherheit ist die Breite, bei der Sonntagsfrage plus-minus 3,1 Punkte für 95 und plus-minus 4,0 für 99 Prozent. Der Standardfehler ist das Herz der Rechnung, beim Anteil die Wurzel aus p mal 1 minus p durch n, bei 42 Prozent und 1.000 Befragten 1,56 Prozentpunkte, und er ist bei 50 Prozent am größten, weshalb Umfrageinstitute ihre Fehlerspanne für den ungünstigsten Fall angeben, plus-minus 3,1 Punkte bei 1.000, auch wenn die Partei nur 5 Prozent hat und ihre eigene Spanne nur 1,4 beträgt. Beim Mittelwert ist der Standardfehler die Standardabweichung durch die Wurzel aus n, 8,4 durch Wurzel 50 gleich 1,188, und das Intervall ist Mittelwert plus-minus z mal Standardfehler. Wie die Standardabweichung aus den Rohdaten entsteht, zeigt der Standardabweichungsrechner.

Warum 1.000 Befragte für 80 Millionen reichen

Die häufigste Frage zu Umfragen ist, wie 1.000 Menschen für 60 Millionen Wahlberechtigte stehen können, und die Antwort steckt in der Formel: Die Größe der Grundgesamtheit kommt darin nicht vor. Die Genauigkeit hängt nur von der Stichprobengröße ab, solange die Grundgesamtheit viel größer ist, und die Suppe schmeckt man mit einem Löffel, egal ob der Topf 5 oder 500 Liter fasst, vorausgesetzt, sie ist umgerührt. Das Umrühren ist die Zufallsauswahl, und sie ist der schwierige Teil: Eine Umfrage unter 10.000 Lesern einer Zeitung sagt weniger über Deutschland als 1.000 zufällig gezogene Telefonnummern, und der berühmte Fehlschlag des Literary Digest 1936 mit 2,4 Millionen Antworten, der Landon statt Roosevelt vorhersagte, lag an der Auswahl aus Telefon- und Autobesitzern. Der Rechner nimmt eine saubere Zufallsstichprobe an, und seine Fehlerspanne ist deshalb die Untergrenze, zu der in der Praxis Verzerrungen durch Nichtantworten, Gewichtung und Fragestellung kommen, die Institute als "zusätzliche Unsicherheit" bezeichnen und die bei Wahlumfragen erfahrungsgemäß noch einmal ein bis zwei Punkte ausmachen. Die Stichprobengröße wirkt mit der Wurzel: Die Halbierung der Spanne kostet die Vervierfachung, von 1.000 auf 4.000 für plus-minus 1,5 Punkte, von 1.000 auf 9.359 für plus-minus 1 Punkt, und von 250 auf 1.040 für die üblichen 3 Punkte, deshalb liegen die meisten Umfragen bei 1.000 bis 2.000, weil die nächsten Tausend kaum noch Genauigkeit bringen. Für Teilgruppen gilt die Rechnung neu: Wenn unter 1.000 Befragten 100 Erstwähler sind, hat deren Ergebnis eine Spanne von plus-minus 10 Punkten, und die Schlagzeile "Erstwähler wählen anders" ist meist Rauschen. Prozentpunkte und Prozent auseinanderzuhalten, ein Rückgang von 42 auf 39 Prozent sind 3 Punkte oder 7 Prozent, hilft der Prozentrechner.

Rechnen von Hand und typische Fehler

Von Hand für die Sonntagsfrage: p gleich 0,42, 1 minus p gleich 0,58, Produkt 0,2436, durch 1.000 gleich 0,0002436, Wurzel 0,0156, mal 1,96 gleich 0,0306, also plus-minus 3,06 Punkte, 38,9 bis 45,1; in Excel liefert KONFIDENZ.NORM die halbe Breite für den Mittelwert, und der Rechner rechnet beides mit den z-Werten der Normalverteilung, 1,645, 1,96 und 2,5758. Der erste Fehler ist das Weglassen der Fehlerspanne, eine Partei, die von 20 auf 21 Prozent "steigt", hat sich bei plus-minus 2,5 Punkten nicht bewegt, und zwei Parteien mit 15 und 17 Prozent sind nicht unterscheidbar. Der zweite ist die Verwechslung von Konfidenzniveau und Trefferquote, 95 Prozent beziehen sich auf das Verfahren, nicht auf die Umfrage. Der dritte ist die Normalverteilung bei kleinem n, unter 30 Messungen gehört beim Mittelwert die t-Verteilung mit etwas größeren Faktoren, bei 10 Messungen 2,26 statt 1,96, und beim Anteil braucht die Näherung mindestens 5 bis 10 Treffer und Nichttreffer. Der vierte ist die Anwendung auf verzerrte Stichproben, Online-Votings und Leserumfragen haben kein Konfidenzintervall, weil die Auswahl nicht zufällig ist. Der fünfte ist die Grundgesamtheit als Größe, sie spielt erst eine Rolle, wenn die Stichprobe mehr als 5 Prozent davon ausmacht, dann wird das Intervall mit der Endlichkeitskorrektur schmaler. Der sechste ist das Ablesen der Mitte als "den Wert", die 42 Prozent sind der beste Schätzer, aber 40 oder 44 sind kaum weniger wahrscheinlich. Der siebte ist der Prozentwert über 100 oder die Standardabweichung null. Und der achte ist die Angabe mit zu vielen Stellen, 38,9 bis 45,1 ist ehrlich, 38,96 bis 45,04 täuscht Genauigkeit vor. Den Mittelwert, um den sich das Intervall legt, rechnet der Durchschnittsrechner.

Ein Stück Geschichte: Neyman, die Bierbrauerei und der Literary Digest

Das Konfidenzintervall ist jung: Jerzy Neyman, ein polnischer Statistiker am University College London, veröffentlichte es 1934 in einem Vortrag vor der Royal Statistical Society und 1937 in der Arbeit "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability", und er wählte den Namen "confidence" bewusst statt "probability", um klarzumachen, dass die 95 Prozent dem Verfahren gehören und nicht dem einzelnen Intervall; Ronald Fisher, der Rivale, hielt die Idee für Unsinn, und der Streit zwischen beiden prägte die Statistik des 20. Jahrhunderts. Die t-Verteilung für kleine Stichproben stammt von William Gosset, der 1908 bei der Guinness-Brauerei in Dublin die Qualität von Gerste mit wenigen Proben prüfen musste und unter dem Pseudonym "Student" veröffentlichte, weil Guinness seinen Angestellten das Publizieren verbot, weshalb der Test bis heute Student-t-Test heißt. Die Umfrageforschung lernte das Konfidenzintervall auf die harte Tour: 1936 sagte der Literary Digest mit 2,4 Millionen Antworten Landon voraus, George Gallup mit 50.000 richtig Roosevelt, und 1948 lagen dann alle Institute mit "Dewey schlägt Truman" daneben, weil sie die Befragung zu früh beendeten und die Quotenauswahl Verzerrungen hatte; seitdem ist die Zufallsstichprobe Standard. In Deutschland begann die Umfrageforschung 1947 mit dem Allensbacher Institut von Elisabeth Noelle-Neumann, und die Fehlerspanne von plus-minus 3 Punkten bei 1.000 Befragten ist seit den 1960er Jahren die Hausnummer, die in jeder Sonntagsfrage im Kleingedruckten steht. Der Rechner rechnet Neymans Formel von 1937 mit den Normalverteilungswerten, die Gauß 1809 beschrieb.

Praktische Tipps

Lesen Sie bei jeder Umfrage die Stichprobengröße im Kleingedruckten und rechnen Sie die Spanne nach. Nehmen Sie Verschiebungen innerhalb der Fehlerspanne nicht ernst. Rechnen Sie Teilgruppen mit ihrer eigenen Größe. Wählen Sie 95 Prozent, wenn Sie keinen Grund für etwas anderes haben. Nehmen Sie bei unter 30 Messungen die t-Verteilung. Prüfen Sie vor der Rechnung, ob die Stichprobe zufällig war, sonst ist das Intervall wertlos. Planen Sie Umfragen mit der nötigen Stichprobengröße des Rechners, bevor Sie Fragebögen verschicken, 1.040 für plus-minus 3 Punkte bei 42 Prozent. Und runden Sie das Ergebnis auf eine Stelle, mehr Genauigkeit haben Sie nicht. Für die Frage, wie wahrscheinlich eine bestimmte Zahl von Treffern bei bekanntem Anteil ist, der Umkehrung dieser Rechnung, gibt es den Binomialverteilungsrechner.