Fragebogen erstellen: zwölf Fehler, die Ihre Ergebnisse verfälschen

Die meisten Fragebögen scheitern nicht an der Auswertung, sondern vorher. Eine missverständliche Frage liefert trotzdem Antworten, und die sehen genauso aus wie Antworten auf eine gute Frage: Prozentwerte, Mittelwerte, ein sauberes Balkendiagramm. Dass die Zahl etwas anderes misst als gedacht, sieht man ihr nicht an.

Die Umfrageforschung hat die typischen Fehler seit den 1940er-Jahren in Experimenten vermessen. Die zwölf folgenden sind die, die in Kunden- und Produktbefragungen am häufigsten vorkommen — sortiert nach der Stelle, an der sie entstehen: bei der Formulierung, bei den Antwortvorgaben und beim Aufbau.

Fehler 1: Zwei Fragen in einer

Eine Frage, die zwei Sachverhalte verbindet, lässt sich nicht eindeutig beantworten. Wer bei „Wie zufrieden sind Sie mit Preis und Lieferzeit?“ den Preis gut und die Lieferzeit schlecht findet, wählt irgendeine Mitte. Hinterher weiß niemand, worauf sich die Zahl bezieht.

Erkennbar ist die Doppelfrage meist an einem „und“, „sowie“ oder „oder“. Schwerer zu sehen ist die versteckte Variante mit eingebauter Behauptung: „Wie zufrieden sind Sie mit unserem Support, der Ihnen bei Problemen schnell hilft?“ fragt nach der Zufriedenheit und unterstellt nebenbei die Schnelligkeit.

Besser: Teilen Sie jede Doppelfrage in zwei Fragen. Wird der Fragebogen dadurch zu lang, ist das ein Hinweis, dass eine der beiden Fragen gar nicht gebraucht wird.

Fehler 2: Suggestive oder einseitige Formulierung

Eine Suggestivfrage legt die Antwort nahe, eine einseitige Frage nennt nur eine Seite. Beides verschiebt das Ergebnis messbar. „Wie hilfreich fanden Sie die neue Übersicht?“ setzt voraus, dass die Übersicht hilfreich war. Neutral lautet die Frage: „Wie bewerten Sie die neue Übersicht?“

Wie stark schon ein Wort wirkt, zeigt eines der ältesten Experimente der Umfrageforschung. Daniel Rugg fragte 1941 zwei Gruppen, ob die USA öffentliche Reden gegen die Demokratie „erlauben“ beziehungsweise „verbieten“ sollten. Auf „erlauben“ antworteten 62 Prozent mit Nein, auf „verbieten“ nur 46 Prozent mit Ja — obwohl beide Antworten dasselbe bedeuten. Eine Nachuntersuchung von Karl-Heinz Reuband (2003) führt den Effekt vor allem darauf zurück, dass jede Fassung nur eine Seite nennt.

Besser: Nennen Sie beide Alternativen ausdrücklich. Nicht „Sollen wir die Rechnung künftig nur noch digital verschicken?“, sondern „Möchten Sie Ihre Rechnung künftig digital oder weiterhin auf Papier erhalten?“ Und streichen Sie wertende Wörter wie „neu“, „verbessert“ oder „leider“ aus dem Fragetext. Die Definition steht auch im Glossar unter Suggestivfrage.

Fehler 3: Hausvokabular statt Kundensprache

Kunden kennen Ihre internen Begriffe nicht, beantworten die Frage aber trotzdem. In einer Online-Befragung kann niemand nachfragen, was mit „Self-Service-Bereich“, „Workspace-Rollen“ oder „Onboarding“ gemeint ist. Die Teilnehmenden raten, und ihre Antwort bezieht sich dann auf etwas anderes als Ihre Frage.

Besonders tückisch sind Funktionsnamen aus der Roadmap. Im Team heißt der Bereich seit Monaten „Self-Service“, in der Oberfläche steht „Mein Konto“, und die Kunden nennen ihn „da, wo die Rechnungen sind“.

Besser: Beschreiben Sie, was die Person sieht oder tut: „der Bereich ‚Mein Konto‘, in dem Sie Rechnungen herunterladen“. Prüffrage: Würde jemand die Frage verstehen, der Ihre internen Unterlagen nie gesehen hat?

Fehler 4: Fragen nach der Zukunft statt nach der Vergangenheit

„Würden Sie diese Funktion nutzen?“ ist eine Frage, auf die Ja nichts kostet. Menschen sagen künftiges Verhalten schlecht voraus, auch wenn sie ehrlich antworten. Eine Metaanalyse von Paschal Sheeran (2002) über 422 Studien kommt zu dem Ergebnis, dass Absichten im Mittel nur 28 Prozent der Unterschiede im tatsächlichen Verhalten erklären. Das gilt für sorgfältig gemessene Absichten zu konkretem Verhalten, nicht für Vermutungen über eine Funktion, die es noch gar nicht gibt.

Vergangenes Verhalten dagegen hat stattgefunden. Es lässt sich beschreiben, und es zeigt die Umwege, die Menschen heute nehmen, weil ihnen etwas fehlt.

Besser: Fragen Sie nach dem letzten konkreten Fall. Statt „Würden Sie einen Export nutzen?“: „Wann haben Sie zuletzt Daten aus dem Programm in eine andere Anwendung übertragen? Wie sind Sie dabei vorgegangen?“ Wählen Sie kurze Zeiträume. „In den letzten zwölf Monaten“ lädt zum Schätzen ein, „beim letzten Mal“ zum Erinnern. Auf genau diesem Prinzip baut JTBD Switch auf: Gefragt wird nach dem letzten tatsächlichen Wechsel, nicht nach Absichten.

Fehler 5: Skalen, die die Antwort vorgeben

Die Antwortkategorien verraten den Befragten, was als normal gilt — und sie ordnen sich danach ein. In einem Experiment von Norbert Schwarz und Kollegen (1985) gaben 16 Prozent der Befragten an, täglich mehr als 2½ Stunden fernzusehen, wenn die Skala bei „mehr als 2½ Stunden“ endete. Begann die Skala bei „bis 2½ Stunden“, waren es 38 Prozent. Die Frage war identisch, nur der Bereich der Kategorien war verschoben.

Das betrifft jede Frage nach Häufigkeit oder Dauer: Wie oft nutzen Sie die Suche? Wie lange dauert Ihre Monatsabrechnung? Wer die Kategorien nach Gefühl wählt, wählt damit ein Stück weit das Ergebnis.

Besser: Fragen Sie Mengen und Zeiten offen ab („Wie viele Minuten ungefähr? ___“) oder leiten Sie die Kategorien aus echten Daten ab, etwa aus Ihrer Nutzungsstatistik. Und legen Sie die Kategorien fest, bevor Sie wissen, welches Ergebnis Ihnen lieber wäre.

Fehler 6: Kategorien, die überlappen, Lücken haben oder kippen

Antwortvorgaben müssen sich gegenseitig ausschließen, alle Fälle abdecken und ausgewogen sein. Drei Varianten dieses Fehlers kommen besonders oft vor:

• Überlappung: „1–5 / 5–10 / 10–50 Beschäftigte“ — wohin gehört ein Betrieb mit fünf?
• Lücke: keine Kategorie für null, für „mehr als 500“ oder für „etwas anderes“.
• Schieflage: „hervorragend / sehr gut / gut / geht so“ bietet drei positive Stufen und eine halbe negative. Der Mittelwert wandert nach oben, ohne dass sich an der Meinung etwas ändert.

Besser: „1–4 / 5–9 / 10–49 / 50 oder mehr“, dazu eine symmetrische Skala mit gleich vielen Stufen auf beiden Seiten, jede Stufe beschriftet. Bei Auswahllisten gehört „Sonstiges, und zwar: ___“ dazu. Wenn Sie die möglichen Antworten noch gar nicht kennen, geben Sie keine vor: Das Fallbeispiel Support zeigt, wie zwei offene Fragen die Themen finden, statt sie vorauszusetzen.

Fehler 7: Zustimmungsskalen für alles

Manche Menschen stimmen Aussagen zu, fast unabhängig von ihrem Inhalt. Dieser Zustimmungseffekt (Akquieszenz) ist in mehr als hundert Studien belegt. Wer jede Frage als Aussage mit „stimme zu … stimme nicht zu“ formuliert, misst deshalb neben der Meinung immer ein Stück Höflichkeit mit.

Ein Vergleich von Willem Saris, Jon Krosnick und Kollegen (2010) kommt zu dem Ergebnis, dass Fragen mit inhaltsbezogenen Antwortstufen bessere Daten liefern als dieselben Inhalte als Zustimmungsaussagen.

Besser: Statt „Stimmen Sie zu: Die Suche liefert passende Ergebnisse“ lieber „Wie passend sind die Suchergebnisse?“ mit Stufen von „überhaupt nicht passend“ bis „sehr passend“.

Die Ausnahme sind geprüfte Standardfragebögen. Der System Usability Scale arbeitet bewusst mit Zustimmung, wechselt aber zwischen positiv und negativ formulierten Aussagen, damit sich der Effekt ausgleicht. Das funktioniert nur, solange Sie den Wortlaut nicht verändern.

Fehler 8: Kein Ausweg — oder der falsche

Wer eine Frage beantworten muss, die auf ihn nicht zutrifft, antwortet irgendetwas. Eine Person, die nie Kontakt zum Support hatte, bewertet ihn trotzdem, wenn das Feld Pflicht ist — meist in der Mitte der Skala. Diese Antworten sehen aus wie eine neutrale Meinung und sind keine.

Der Reflex, deshalb bei jeder Frage „weiß nicht“ anzubieten, hilft allerdings nicht. Jon Krosnick und Kollegen (2002) fanden in neun Experimenten, dass eine solche Option die Datenqualität nicht verbessert. Sie zieht besonders Menschen an, die sich die Mühe des Nachdenkens sparen, und verdeckt damit Meinungen, die durchaus vorhanden wären.

Besser: Unterscheiden Sie zwei Fälle. Kann eine Frage auf jemanden nicht zutreffen, gehört „trifft nicht zu“ oder „habe ich nicht genutzt“ dazu — oder noch besser eine Filterfrage davor: „Hatten Sie in den letzten drei Monaten Kontakt zu unserem Support?“ Bei Meinungsfragen, die jede Person beantworten kann, verzichten Sie auf „weiß nicht“.

Fehler 9: Die Reihenfolge färbt die Antworten

Eine frühere Frage lenkt, woran Menschen bei der späteren denken. Norbert Schwarz, Fritz Strack und Hans-Peter Mai (1991) fragten nach der Zufriedenheit mit der Ehe und mit dem Leben insgesamt. Kam die Lebensfrage zuerst, hingen beide Antworten mit r = .32 zusammen. Kam die Ehefrage zuerst, stieg der Zusammenhang auf r = .67 — weil die Ehe beim Gesamturteil noch präsent war.

In einer Kundenbefragung passiert dasselbe: Wer zuerst fünf Fragen zum Support beantwortet und danach die Gesamtzufriedenheit, bewertet in der Gesamtfrage vor allem den Support.

Bei Auswahllisten kommt ein zweiter Effekt dazu: In schriftlichen Befragungen werden die ersten Optionen häufiger gewählt (Krosnick und Alwin, 1987).

Besser: Das Gesamturteil zuerst, die Details danach. Auswahllisten ohne natürliche Ordnung in zufälliger Reihenfolge anzeigen. Demografische und sensible Fragen ans Ende.

Fehler 10: Fragen ohne Verwendungszweck

Jede Frage, deren Antwort keine Entscheidung beeinflusst, kostet Teilnehmende und bringt nichts. Typisch sind „interessant zu wissen“-Fragen und Fragen nach Daten, die Sie längst haben: Tarif, Vertragslaufzeit, Unternehmensgröße, Kundennummer. Sie verlängern den Fragebogen und machen ihn für die Befragten zur Formularübung.

Besser: Schreiben Sie vor der ersten Frage die Entscheidung auf, die die Befragung stützen soll. Dann prüfen Sie jede Frage: Welche Entscheidung hängt von dieser Antwort ab? Findet sich keine, fliegt die Frage raus. Dabei fällt oft ein erheblicher Teil des Entwurfs weg. Was die kürzere Befragung am Rücklauf ändert, steht in Rücklaufquote steigern.

Fehler 11: Zu lang — und das Ende leidet

Länge kostet nicht nur Teilnehmende, sondern auch Qualität am Schluss. Mirta Galesic und Michael Bosnjak (2009) kündigten dieselbe Online-Befragung mit 10, 20 oder 30 Minuten an. Je länger die angekündigte Dauer, desto weniger Menschen begannen und beendeten sie. Und Fragen weiter hinten wurden schneller, kürzer und gleichförmiger beantwortet als dieselben Fragen am Anfang.

Das trifft ausgerechnet die offenen Fragen, die oft am Ende stehen und die meiste Erkenntnis liefern.

Besser: Die wichtigsten Fragen nach vorn, die offene Kernfrage nicht ans Ende. Die Dauer in der Einladung nennen und einhalten. Kundenbefragungen möglichst unter zehn Minuten halten.

Fehler 12: Kein Pretest

Viele der elf Fehler oben findet ein Pretest in wenigen Stunden. Beim kognitiven Pretest füllen Personen aus der Zielgruppe den Fragebogen aus und denken dabei laut. Danach wird nachgefragt: „Was haben Sie unter ‚Self-Service‘ verstanden?“, „Wie würden Sie die Frage in eigenen Worten stellen?“, „Warum haben Sie die Mitte gewählt?“

Die GESIS-Leitlinien zum kognitiven Pretesting nennen 5 bis 30 Interviews je Runde, meist rund 20. Die schwerwiegendsten Probleme zeigen sich dabei in der Regel schon bei einer kleinen Zahl von Gesprächen. Für eine Kundenbefragung heißt das: Fünf Gespräche sind deutlich besser als keines.

Besser: Vor dem Versand fünf Personen aus der Zielgruppe durch den Fragebogen führen, auf dem Gerät, auf dem auch die echten Teilnehmenden antworten werden — meist ist das ein Telefon. In usabiq eignet sich dafür die Vorschau: Sie zeigt den Fragebogen so, wie Teilnehmende ihn sehen, und Testantworten landen nicht in den Ergebnissen. Ein Sprachmodell kann als Vorstufe helfen, unklare Formulierungen zu finden; den Pretest mit echten Menschen ersetzt es nicht. Warum, steht in Synthetische Nutzer: Kann KI die Kundenbefragung ersetzen?

Die zwölf Fehler auf einen Blick

#	Fehler	Woran Sie ihn erkennen	Besser
1	Zwei Fragen in einer	„und“, „oder“, eingebaute Behauptung	in zwei Fragen teilen
2	Suggestiv oder einseitig	wertende Wörter, nur eine Alternative genannt	neutral fragen, beide Seiten nennen
3	Hausvokabular	interne Funktionsnamen, Abkürzungen	beschreiben, was die Person sieht
4	Zukunft statt Vergangenheit	„würden Sie …“	nach dem letzten konkreten Fall fragen
5	Skala gibt die Antwort vor	Kategorien nach Gefühl gewählt	offen fragen oder aus Daten ableiten
6	Kategorien überlappen oder kippen	5 in zwei Kategorien, mehr positive als negative Stufen	ausschließend, vollständig, symmetrisch
7	Zustimmungsskalen für alles	jede Frage als „stimme zu“	inhaltsbezogene Antwortstufen
8	Kein oder falscher Ausweg	Pflichtfeld ohne „trifft nicht zu“	Filterfrage, „weiß nicht“ nur bei Wissensfragen
9	Reihenfolge färbt	Details vor dem Gesamturteil	allgemein vor speziell, Listen mischen
10	Frage ohne Zweck	keine Entscheidung hängt an der Antwort	streichen
11	Zu lang	über zehn Minuten, offene Frage am Ende	kürzen, Wichtiges nach vorn
12	Kein Pretest	Versand direkt nach dem Entwurf	fünf Personen laut denken lassen

Selbst formulieren oder einen Standardfragebogen nehmen?

Für alles, was Sie regelmäßig messen und vergleichen wollen, sind geprüfte Standardfragebögen die bessere Wahl. Ihr Wortlaut ist in Validierungsstudien geprüft, und nur mit unverändertem Wortlaut lassen sich Ergebnisse mit Referenzwerten und früheren Erhebungen vergleichen. Für Bedienbarkeit ist das der SUS, für einzelne Dimensionen der Nutzererfahrung UEQ+.

Selbst formulieren sollten Sie dort, wo es um Ihre konkrete Frage geht: warum Kunden abspringen, was im Ablauf hakt, welche Aufgabe jemand eigentlich erledigen will. Dafür gibt es keinen Standard, und genau dort passieren die zwölf Fehler.

Wenn in usabiq der KI-Creator den Fragebogen entwirft, prüft ein Bias-Check den Entwurf auf Suggestiv-, Doppel- und vage Fragen sowie überlappende Antwortkategorien und schlägt neutrale Formulierungen vor (ab Research Starter). Das betrifft die Fehler 1 und 2 und einen Teil von Fehler 6 — und nur den Entwurf, nicht die Fragen, die Sie selbst ergänzen. Die übrigen Fehler erkennt keine Software zuverlässig, weil sie davon abhängen, was Ihre Kunden unter einer Frage verstehen. Dafür ist der Pretest da.