p-Wert-Rechner

So funktioniert der p-Wert-Rechner

Der p-Wert-Rechner übersetzt eine Teststatistik in die Wahrscheinlichkeit, die über Signifikanz entscheidet. Der erste Kasten rechnet den p-Wert aus dem z-Wert über die Standardnormalverteilung, wahlweise einseitig oder zweiseitig, und nennt die kritischen z-Werte für die üblichen Niveaus. Der zweite Kasten nutzt die t-Verteilung: Aus t-Wert und Freiheitsgraden folgt der p-Wert für den t-Test, dazu der Vergleich mit der Normalverteilung und der kritische t-Wert, der sonst in der Tabelle nachgeschlagen wird. Der dritte Kasten bestimmt den p-Wert für den Chi-Quadrat-Test aus χ² und Freiheitsgraden, mit den kritischen Werten für 10, 5 und 1 Prozent.

Merksatz: Der p-Wert ist die Wahrscheinlichkeit, unter der Nullhypothese ein mindestens so extremes Ergebnis zu bekommen; er ist nicht die Wahrscheinlichkeit, dass die Nullhypothese stimmt. Eselsbrücke: p unter 0,05 heißt signifikant, 1,96 ist der zweiseitige z-Wert dafür, 1,645 der einseitige.

Drei Beispiele:

• z = 1,96, zweiseitig: p = 0,05, genau die Grenze zur Signifikanz. z = 2,5 einseitig: p = 0,0062, sehr signifikant. z = 3 zweiseitig: p = 0,0027. z = 1,645 einseitig: p = 0,05.
• t = 2,2 bei 15 Freiheitsgraden, zweiseitig: p = 0,0439, signifikant; die Normalverteilung hätte 0,0278 ergeben, der kritische t-Wert für 5 Prozent liegt bei 2,131. t = 2 bei 10 Freiheitsgraden ergibt zweiseitig p = 0,0734, knapp nicht signifikant, der kritische Wert ist 2,228.
• χ² = 7,8 bei 3 Freiheitsgraden: p = 0,0503, haarscharf über 5 Prozent, der kritische Wert ist 7,815. χ² = 3,2 bei 1 Freiheitsgrad: p = 0,0736 (kritisch 3,841), χ² = 5,5 bei 2 Freiheitsgraden: p = 0,0639 (kritisch 5,991).

Formeln: p (zweiseitig) = 2 · P(Z > |z|), einseitig ohne den Faktor 2; für t die Verteilungsfunktion der t-Verteilung über die regularisierte unvollständige Betafunktion, für χ² die regularisierte unvollständige Gammafunktion, jeweils rechtsseitig. Die z-Werte selbst liefert der Normalverteilungsrechner, das Konfidenzintervall dazu der Konfidenzintervall-Rechner, und die Standardabweichung für die Teststatistik der Standardabweichungsrechner.

Wissenswertes zum Thema

Was der p-Wert sagt und was nicht

Jeder statistische Test beginnt mit einer Nullhypothese: kein Unterschied, kein Zusammenhang, kein Effekt. Dann wird aus den Daten eine Teststatistik berechnet, etwa ein z-Wert, und der p-Wert gibt an, wie wahrscheinlich ein mindestens so extremer Wert wäre, wenn die Nullhypothese tatsächlich gilt. Ist diese Wahrscheinlichkeit klein, meist unter dem Signifikanzniveau von 5 Prozent, gilt das Ergebnis als signifikant und die Nullhypothese wird verworfen. Der p-Wert von 0,0439 im Beispiel heißt also: Wenn es keinen Effekt gäbe, würde ein t-Wert von 2,2 oder extremer nur in 4,39 Prozent der Fälle auftreten. Was der p-Wert nicht sagt, ist mindestens so wichtig. Er ist nicht die Wahrscheinlichkeit, dass die Nullhypothese wahr ist, nicht die Wahrscheinlichkeit eines Irrtums, und er misst nicht die Größe eines Effekts: Bei riesigen Stichproben wird jeder winzige Unterschied signifikant, bei kleinen bleibt ein großer Effekt unerkannt. Die Grenze von 0,05 ist Konvention, keine Naturkonstante; p = 0,049 und p = 0,051 unterscheiden sich praktisch nicht, und seriöse Auswertungen berichten den p-Wert selbst, die Effektgröße und ein Konfidenzintervall. Der Rechner ordnet trotzdem ein, weil Lehrbücher und Prüfungen diese Stufen verlangen: unter 0,05 signifikant, unter 0,01 sehr signifikant, unter 0,001 hochsignifikant.

Einseitig oder zweiseitig, z oder t

Die Wahl zwischen einseitigem und zweiseitigem Test hängt von der Fragestellung ab, und sie muss vor dem Blick auf die Daten fallen. Zweiseitig fragt "ist es anders", einseitig "ist es größer" oder "ist es kleiner". Der zweiseitige p-Wert ist doppelt so groß wie der einseitige, weil beide Ränder der Verteilung zählen; z = 1,96 ergibt zweiseitig 0,05, einseitig 0,025. Wer nachträglich auf einseitig wechselt, weil es dann signifikant wird, betreibt das, was die Statistik p-Hacking nennt. Die zweite Wahl ist die Verteilung. Der z-Test setzt voraus, dass die Standardabweichung der Grundgesamtheit bekannt ist oder die Stichprobe groß, über 30 Werte. Bei kleinen Stichproben mit geschätzter Standardabweichung gilt die t-Verteilung, die mit ihren schwereren Rändern die zusätzliche Unsicherheit abbildet: Für t = 2,2 ergibt die t-Verteilung mit 15 Freiheitsgraden p = 0,0439, die Normalverteilung nur 0,0278. Die Freiheitsgrade richten sich nach dem Test: n - 1 beim Einstichproben-t-Test und beim gepaarten t-Test, n₁ + n₂ - 2 beim Zweistichproben-t-Test mit gleichen Varianzen, n - 2 beim Test eines Regressionskoeffizienten. Ab etwa 100 Freiheitsgraden sind t- und Normalverteilung praktisch gleich, die kritischen Werte 1,984 und 1,960 liegen dann nah beieinander.

Chi-Quadrat: Häufigkeiten statt Mittelwerte

Der Chi-Quadrat-Test prüft Häufigkeiten: ob ein Würfel fair ist (Anpassungstest) oder ob zwei Merkmale zusammenhängen, etwa Geschlecht und Wahlentscheidung in einer Kreuztabelle (Unabhängigkeitstest). Die Teststatistik summiert über alle Zellen (beobachtet minus erwartet)² geteilt durch erwartet; große Werte sprechen gegen die Nullhypothese, deshalb ist der Test immer rechtsseitig. Die Freiheitsgrade sind beim Anpassungstest Anzahl der Kategorien minus 1, beim Unabhängigkeitstest (Zeilen - 1) mal (Spalten - 1), bei der 2 × 2-Tafel also 1. Für χ² = 7,8 bei 3 Freiheitsgraden ergibt sich p = 0,0503, knapp nicht signifikant; der kritische Wert für 5 Prozent liegt bei 7,815. Zwei Voraussetzungen werden oft vergessen: Die erwarteten Häufigkeiten sollten in jeder Zelle mindestens 5 betragen, sonst ist der exakte Test nach Fisher die richtige Wahl, und der Test braucht absolute Häufigkeiten, keine Prozentwerte. Die χ²-Verteilung hat als Erwartungswert die Zahl der Freiheitsgrade; ein χ² deutlich darüber ist auffällig, eines darunter unauffällig. Der Rechner nutzt für alle drei Verteilungen numerische Verfahren, die die klassischen Tabellen auf vier Stellen genau ersetzen.

Ein Stück Geschichte

Der p-Wert hat einen bekannten Vater und eine berühmte Zahl. Karl Pearson entwickelte 1900 den Chi-Quadrat-Test und die zugehörige Verteilung, als erstes Werkzeug, um Beobachtungen gegen eine Hypothese zu prüfen. William Sealy Gosset, Braumeister bei Guinness in Dublin, fand 1908 die t-Verteilung, weil er die Qualität kleiner Gerstenproben beurteilen musste; die Brauerei verbot Veröffentlichungen, also schrieb er unter dem Pseudonym "Student", und die t-Verteilung heißt bis heute Student-Verteilung. Ronald Fisher machte in "Statistical Methods for Research Workers" 1925 den p-Wert zum Standard und schlug die Grenze von 5 Prozent vor, mit dem Hinweis, sie sei praktisch, nicht heilig; seine Tabellen druckten kritische Werte nur für wenige Niveaus, weil die Berechnung mühsam war, und so wurde aus Bequemlichkeit eine Konvention. Jerzy Neyman und Egon Pearson ergänzten 1933 die Theorie mit Alternativhypothese, Fehler erster und zweiter Art und der Teststärke. Seit den 2010er-Jahren diskutiert die Wissenschaft die Replikationskrise, und die American Statistical Association veröffentlichte 2016 eine Stellungnahme, die vor dem Missbrauch des p-Werts warnt: Signifikanz ist kein Beweis, und 0,05 ist keine Grenze zwischen wahr und falsch.

Praktische Tipps

Legen Sie Hypothese, Testart und Niveau fest, bevor Sie rechnen, und ändern Sie sie nicht nach dem Ergebnis. Berichten Sie den p-Wert als Zahl, nicht nur als "signifikant", und ergänzen Sie Effektgröße und Konfidenzintervall. Nutzen Sie bei kleinen Stichproben die t-Verteilung, nicht die Normalverteilung, und prüfen Sie die Freiheitsgrade. Rechnen Sie beim Chi-Quadrat-Test mit absoluten Häufigkeiten und erwarteten Werten über 5. Und seien Sie skeptisch bei p-Werten knapp unter 0,05 in kleinen Studien; sie replizieren sich selten. Die Teststatistik selbst entsteht aus Mittelwert, Standardabweichung und Stichprobengröße, die der Durchschnittsrechner und der Varianzrechner liefern; Wahrscheinlichkeiten für Treffer in Stichproben rechnet der Binomialverteilungsrechner.