Wie viele Teilnehmer braucht eine Umfrage?

Die Frage kommt in jedem Projekt, meist zu spät — nämlich dann, wenn die Erhebung schon läuft und jemand wissen will, ob 47 Antworten „reichen".

Die Antwort hängt davon ab, was Sie mit den Zahlen vorhaben. Für eine Prozentangabe im Geschäftsbericht gilt etwas anderes als für die Frage, welche Themen Ihre Kunden überhaupt beschäftigen.

Die kurze Antwort

385. Das ist die Zahl auswertbarer Antworten, die Sie für ein Konfidenzniveau von 95 Prozent und eine Fehlermarge von 5 Prozentpunkten benötigen, wenn die Grundgesamtheit groß ist.

„Groß" heißt hier: ab etwa 20.000 Personen ändert sich nichts mehr. Ob Ihre Zielgruppe 50.000 oder 5 Millionen Menschen umfasst, ist für die nötige Stichprobe irrelevant. Das ist die kontraintuitivste Eigenschaft der Statistik und der Grund, warum bundesweite Umfragen mit rund 1.000 Befragten auskommen.

Tabelle: Stichprobengröße nach Grundgesamtheit

Benötigte auswertbare Antworten bei 95 Prozent Konfidenzniveau:

Die mittlere Spalte ist der übliche Standard. Die rechte Spalte kostet etwa das Dreifache an Teilnehmenden und lohnt sich nur, wenn Sie tatsächlich Unterschiede von wenigen Prozentpunkten belegen müssen.

Die Formel

Für große Grundgesamtheiten:

n = z² × p × (1 − p) / e²

z = 1,96   bei 95 % Konfidenzniveau
p = 0,5    ungünstigster Fall, wenn die Verteilung unbekannt ist

Gebrochene Werte werden immer aufgerundet — eine halbe Antwort gibt es nicht.
e = 0,05   Fehlermarge in Anteilen

n = 1,96² × 0,5 × 0,5 / 0,05² = 384,16  →  aufgerundet 385

Bei kleinen Grundgesamtheiten kommt eine Korrektur dazu:

n_korrigiert = n / (1 + (n − 1) / N)

N = Grundgesamtheit

Der Wert p = 0,5 ist bewusst pessimistisch. Wenn Sie aus Vorerhebungen wissen, dass die gesuchte Größe bei etwa 20 Prozent liegt, sinkt die nötige Stichprobe deutlich.

calculate Der Stichprobenrechner nimmt Ihnen die Formel ab und rechnet Rücklaufquote, Ausschuss und die Zahl der Segmente gleich mit ein.

Wann deutlich weniger reicht

Wenn Sie nicht zählen, sondern verstehen wollen. Qualitative Erhebungen folgen einer anderen Logik: Sie sind nicht auf Repräsentativität ausgelegt, sondern auf Sättigung — den Punkt, ab dem neue Teilnehmende keine neuen Themen mehr beitragen.

Die Zeile mit den Bedienbarkeitsproblemen überrascht viele. Für das Finden von Problemen genügen tatsächlich sehr wenige Teilnehmende, weil dieselben Hürden immer wieder auftreten. Für die Aussage, wie viele Nutzer betroffen sind, brauchen Sie die große Stichprobe.

Der teuerste Fehler: Segmente vergessen

Die Mindestzahl gilt je Segment, nicht insgesamt. Das wird fast immer übersehen und macht den Unterschied zwischen einer nützlichen und einer nutzlosen Erhebung aus.

Ein Beispiel: Sie erheben 400 Antworten und sind zufrieden. Bei der Auswertung wollen Sie Neukunden mit Bestandskunden vergleichen und stellen fest, dass nur 38 Neukunden dabei sind. Für diesen Vergleich ist die Erhebung wertlos, obwohl die Gesamtzahl stimmt.

Rechnen Sie rückwärts: Legen Sie vor der Erhebung fest, welche Gruppen Sie am Ende gegenüberstellen wollen, und multiplizieren Sie die Mindestzahl je Gruppe. Wer vier Segmente vergleichen will, braucht mindestens 160 bis 400 Antworten — verteilt auf die vier Gruppen, und die Verteilung stellt sich nicht von allein ein.

Rücklaufquote einrechnen

Die berechnete Zahl ist die Zahl der auswertbaren Antworten, nicht der Einladungen. Zwischen beiden liegt die Rücklaufquote:

Kalkulieren Sie zusätzlich 5 bis 15 Prozent Ausschuss ein: Abbrüche mitten im Fragebogen, durchgeklickte Antwortmuster, unbrauchbare Freitexte.

Wenn Sie am unteren Ende der Tabelle landen, ist Ihr Problem nicht die Stichprobengröße, sondern der Rücklauf. Die Hebel dafür stehen in Rücklaufquote steigern

Größe ist nicht Repräsentativität

Eine große Stichprobe kann systematisch schief sein, und dann hilft die Größe nichts. Wenn Sie ausschließlich über Ihren Newsletter einladen, befragen Sie Menschen, die Ihren Newsletter abonniert haben. Das ist eine ganz bestimmte Gruppe, und keine Fallzahl der Welt korrigiert das.

Drei Verzerrungen, auf die Sie achten müssen:

1. Auswahlverzerrung. Wen erreicht der Einladungsweg nicht?
2. Selbstselektion. Es antworten überdurchschnittlich viele sehr Zufriedene und sehr Unzufriedene. Die Mitte fehlt.
3. Überlebensverzerrung. Wer bereits abgewandert ist, steht nicht mehr in Ihrer Kundenliste. Genau diese Personen hätten die interessanteste Antwort.

Der dritte Punkt ist bei Abwanderungs- und Abbruchfragen entscheidend. Mehr dazu in Warum brechen Kunden im Checkout ab?

Praktisches Vorgehen

1. Entscheidung benennen, die von der Erhebung abhängt.
2. Zählen oder verstehen? Danach richtet sich alles Weitere.
3. Segmente festlegen, die verglichen werden sollen — vor der Erhebung.
4. Mindestzahl je Segment aus der Tabelle nehmen und zusammenrechnen.
5. Durch die erwartete Rücklaufquote teilen, 10 Prozent Ausschuss aufschlagen.
6. Während der Feldzeit beobachten, ob die Segmente sich füllen, und gegebenenfalls gezielt nachfassen.

Schritt 6 rettet mehr Erhebungen als jede Vorabrechnung. Eine Erhebung, bei der man erst nach dem Feldende merkt, dass ein Segment leer geblieben ist, lässt sich nicht mehr reparieren.