KI-Auswertung
Synthetische Nutzer: Kann KI die Kundenbefragung ersetzen?
Zwei Entwicklungen treffen gerade aufeinander: Anbieter verkaufen Befragungen ohne Befragte, und KI-Agenten füllen echte Online-Umfragen so aus, dass Prüffragen sie nicht mehr erkennen. Beide liefern Antworten, die kein Mensch gegeben hat.
Das Versprechen klingt verlockend: tausend Befragte in zehn Minuten, ohne einen einzigen Menschen zu fragen. Man beschreibt die Zielgruppe, ein Sprachmodell schlüpft in ihre Rolle und beantwortet den Fragebogen. Anbieter nennen das synthetische Nutzer, synthetische Befragte oder digitale Zwillinge.
Der Reiz ist nachvollziehbar. Echte Befragungen kosten Zeit, Teilnehmende sind schwer zu bekommen, und bis die Antworten da sind, ist die Entscheidung oft schon gefallen. Die Frage, ob KI diesen Schritt ersetzen kann, verdient deshalb eine ernsthafte Antwort statt eines Reflexes. Seit 2024 gibt es dazu belastbare Studien.
Was sind synthetische Nutzer?
Synthetische Nutzer sind KI-generierte Befragte. Ein Sprachmodell erhält eine Beschreibung einer Person oder Zielgruppe und beantwortet Fragen so, wie es diese Person vermutet. Es gibt drei Bauarten, und der Unterschied zwischen ihnen ist wichtiger, als die Anbieter meist zugeben:
| Bauart | Worauf die Antworten beruhen | Braucht echte Daten? |
|---|---|---|
| Persona per Prompt | eine Beschreibung wie „Einkäuferin, 42, Mittelstand, preisbewusst“ | nein |
| Auf Befragungsdaten trainiert | ein Modell, das an früheren Umfrageantworten nachtrainiert wurde | ja, viele |
| Digitaler Zwilling | ein ausführliches Interview oder Profil einer bestimmten echten Person | ja, je Person |
Die erste Bauart ist die, die als schneller Ersatz für eine Befragung verkauft wird. Die beiden anderen setzen voraus, dass die Forschung mit echten Menschen bereits stattgefunden hat.
Was zeigt die Forschung bisher?
Das Muster ist deutlich: Bei Durchschnitten und gut erforschten Effekten liefern Sprachmodelle erstaunlich gute Schätzungen. Bei Streuung, Minderheiten, Details und allem, was nicht in den Trainingsdaten steht, liegen sie daneben.
| Studie | Was getestet wurde | Ergebnis |
|---|---|---|
| Ashokkumar, Hewitt, Ghezae, Willer (Nature, 2026) | 70 Umfrageexperimente in den USA mit 469 Effekten und 119.330 Teilnehmenden | Die simulierten Effekte korrelierten mit r = .85 mit den echten — etwa so treffsicher wie die gebündelten Vorhersagen von Menschen. Bei unveröffentlichten Studien, die nicht in den Trainingsdaten stehen konnten, lag der Wert bei r = .90. Die Effektstärken wurden überschätzt. |
| Park et al. (2024) | digitale Zwillinge von 1.052 Menschen, jeweils aus einem zweistündigen Interview | Die Zwillinge gaben Antworten im General Social Survey zu 85 Prozent so treffend wieder wie die Menschen selbst bei einer Wiederholung zwei Wochen später. |
| Bisbee et al. (Political Analysis, 2024) | ChatGPT-Personas im Vergleich mit der American National Election Study | Durchschnitte nah an den echten Werten, aber weniger Streuung. Kleine Änderungen im Prompt verschoben die Verteilung; derselbe Prompt lieferte nach drei Monaten deutlich andere Ergebnisse. |
| Wang, Morgenstern, Dickerson (Nature Machine Intelligence, 2025) | Sprachmodelle als Ersatz für Teilnehmende aus bestimmten Bevölkerungsgruppen | Die Modelle stellen Gruppen verzerrt dar und ebnen die Unterschiede innerhalb einer Gruppe ein. |
| Rosala, Moran (Nielsen Norman Group, 2024) | synthetische Nutzer im Vergleich mit drei abgeschlossenen Interviewstudien | Die Antworten waren flach und übertrieben positiv. Ein synthetischer Teilnehmer gab an, alle genannten Onlinekurse abgeschlossen zu haben; echte Teilnehmende berichteten, Kurse abgebrochen zu haben. Fast jedes Konzept wurde gelobt. |
Die positiven Ergebnisse sind ernst zu nehmen. Sie haben aber eine gemeinsame Voraussetzung: Entweder ging es um Durchschnitte in einer großen, gut dokumentierten Bevölkerung, oder das Modell kannte die Person aus einem echten Interview. Auch der hohe Wert für unveröffentlichte Studien widerspricht dem nicht: Vorhergesagt wurde, wie Menschen allgemein auf eine Botschaft reagieren — Psychologie, die sich aus vielen Texten verallgemeinern lässt. Ob in Ihrem Kundenkonto die Rechnung zu finden ist, lässt sich nicht verallgemeinern. Das ist eine Tatsache über Ihr Produkt, und die kennt nur, wer es benutzt.
Warum passen Produktfragen besonders schlecht?
Ein Sprachmodell kennt, was über Menschen im Allgemeinen geschrieben wurde. Es kennt nicht Ihr Produkt, Ihre Kunden und das, was seit dem letzten Release passiert ist. Genau das ist aber der Stoff, aus dem Produktentscheidungen entstehen. Vier Gründe im Einzelnen:
1. Das Unerwartete fehlt. Der Wert einer Befragung liegt oft in der Antwort, mit der niemand gerechnet hat: Die Rechnung ist im Kundenkonto nicht zu finden, ein Feld im Formular wird missverstanden, ein Wettbewerber hat still die Preise gesenkt. Ein Modell liefert die Gründe, die für Ihre Branche typisch sind — Preis, Versandkosten, Vertrauen. Es kann nicht berichten, was es nie gesehen hat. Das konstruierte Fallbeispiel Checkout spielt genau das durch: Das Team vermutet die Versandkosten, die Befragung der Abbrecher zeigt, dass die Unsicherheit über den Liefertermin schwerer wiegt.
2. Die Streuung fehlt. Synthetische Antworten liegen näher beieinander als echte. Für eine Produktentscheidung ist aber gerade die Gruppe interessant, die anders antwortet als die Mehrheit: die kleine Gruppe, die an einer bestimmten Stelle scheitert, oder die Großkunden, deren Anforderungen sich von denen aller anderen unterscheiden.
3. Das Modell ist gefällig. Sprachmodelle neigen dazu, der fragenden Person zuzustimmen. Bei einem Konzepttest ist das fatal: Fast jede Idee wird positiv bewertet, auch die, die echte Kunden ablehnen würden.
4. Das Ergebnis ist nicht wiederholbar. Wenn derselbe Prompt nach einem Modellupdate andere Antworten liefert, lässt sich keine Kennzahl über die Zeit verfolgen. Ob sich die Bedienbarkeit nach einem Umbau verbessert hat, kann eine synthetische Befragung deshalb grundsätzlich nicht beantworten.
Dazu kommt ein Zirkelschluss: Die genauesten synthetischen Nutzer — digitale Zwillinge — beruhen auf ausführlichen Gesprächen mit genau den Menschen, die sie nachbilden. Sie sind kein Ersatz für Forschung, sondern ein Nebenprodukt davon.
Wofür synthetische Nutzer trotzdem taugen
Als Vorstufe einer echten Studie können synthetische Nutzer Zeit sparen, als Ersatz nicht. Die Nielsen Norman Group nennt eine Handvoll sinnvoller Einsätze, und sie haben alle gemeinsam, dass danach noch echte Menschen gefragt werden:
| Aufgabe | Synthetische Nutzer | Echte Befragung |
|---|---|---|
| Hypothesen sammeln, bevor die Studie geplant wird | geeignet | — |
| Sich in eine unbekannte Zielgruppe einlesen | geeignet als Einstieg | — |
| Fragebogen oder Leitfaden vorab durchspielen | geeignet als Vorstufe | Pretest mit echten Personen |
| Konzept oder Idee bewerten | ungeeignet, zu gefällig | nötig |
| Funktionen priorisieren | ungeeignet | nötig |
| Gründe für Abbruch oder Kündigung finden | ungeeignet | nötig |
| Kennzahl über die Zeit verfolgen (SUS, UEQ+) | ungeeignet, nicht wiederholbar | nötig |
| Nischen- und B2B-Zielgruppen | ungeeignet | nötig |
Die dritte Zeile ist in der Praxis die nützlichste: Ein Sprachmodell, das einen Fragebogen probehalber „ausfüllt“, kann auf mehrdeutige Formulierungen hinweisen, bevor echte Menschen sie sehen. Das ersetzt nicht den Pretest mit echten Teilnehmenden, macht ihn aber kürzer.
Die Kehrseite: KI-Agenten füllen echte Umfragen aus
Das gleiche Problem kommt auch ungebeten: Antworten, die aussehen wie von Menschen, aber von einer KI stammen. Sean Westwood (Dartmouth) hat im November 2025 in den Proceedings of the National Academy of Sciences gezeigt, wie weit das inzwischen geht. Sein KI-Agent beantwortete Online-Umfragen in der Rolle einer erfundenen Person und bestand in 6.000 Durchläufen 99,8 Prozent der üblichen Aufmerksamkeitsprüfungen — auch Logikaufgaben und Fragen, die gezielt Maschinen entlarven sollen. Er simulierte Lesezeiten passend zum angeblichen Bildungsstand, bewegte die Maus wie ein Mensch und tippte Freitexte Zeichen für Zeichen, samt Tippfehlern.
Eine solche Antwort kostete rund 5 US-Cent. Ein bezahlter menschlicher Teilnehmer kostet typischerweise etwa 1,50 US-Dollar. Und schon 10 bis 52 gefälschte Antworten hätten nach Westwoods Berechnung die Prognose in sieben großen Umfragen vor der US-Wahl 2024 gedreht.
Für Unternehmensbefragungen folgt daraus vor allem eines: Prüffragen und Zeitmessung allein schützen nicht mehr. Wie groß das Risiko im Einzelfall ist, hängt davon ab, wer die Umfrage erreichen kann und ob sich das Ausfüllen lohnt:
| Situation | Risiko | Warum |
|---|---|---|
| Offener Link mit Geld- oder Gutscheinprämie | hoch | Jede gefälschte Antwort bringt Geld |
| Bezahltes Online-Panel | mittel bis hoch | Vergütung je Antwort, Teilnehmende unbekannt |
| Öffentlicher Link ohne Prämie | gering | Kein Anreiz, aber jeder kann antworten |
| Einladung an eigene Kunden über eigenen Kanal | am geringsten | Bekannte Grundgesamtheit, kein Anreiz |
Die Einschätzung in dieser Tabelle ist unsere Ableitung aus Westwoods Befund, keine gemessene Größe: Wer Umfragen automatisiert fälscht, tut das dort, wo es sich bezahlt macht.
Was hilft:
- Eine bekannte Grundgesamtheit befragen. Kunden aus dem eigenen System, eingeladen per E-Mail an die hinterlegte Adresse oder im Produkt nach dem Login. Wer die Einladung bekommt, bestimmen Sie.
- Keine Prämie für offene Links. Wenn Sie einen Anreiz setzen, dann über eine Verlosung unter bekannten Kunden, nicht als Bezahlung je ausgefülltem Bogen.
- Antworten gegen eigenes Wissen prüfen. Nennt jemand einen Tarif, den es nicht gibt, oder eine Funktion, die er in seinem Paket gar nicht hat, stimmt etwas nicht.
- Die Rücklaufkurve im Blick behalten. Ein plötzlicher Sprung in der Zahl der Antworten, der zu keiner Einladung passt, ist ein Warnsignal.
Wie usabiq echte Antworten schneller macht
Synthetische Nutzer verkaufen sich über Tempo. Die bessere Antwort darauf ist, echte Befragungen schneller zu machen: mit KI beim Aufbau und bei der Auswertung, und mit Antworten, die von Menschen kommen. So verteilt sich das in usabiq, jeweils mit der Grenze, die dazugehört:
| Schritt | Was usabiq dafür bietet | Grenze |
|---|---|---|
| Fragebogen entwerfen | Der KI-Creator schlägt aus Ihrem Ziel in eigenen Worten drei passende Methoden mit Eignungswert vor und entwirft die Fragen. Ein Bias-Check prüft den Entwurf auf Suggestiv- und Doppelfragen und schlägt neutrale Formulierungen vor. | ab Research Starter; von Hand geschriebene Fragen prüft der Bias-Check nicht |
| Vorab testen | Die Vorschau zeigt den Fragebogen so, wie Teilnehmende ihn sehen. Testantworten landen nicht in den Ergebnissen. | den Pretest mit echten Menschen ersetzt sie nicht |
| Bekannte Teilnehmende | Im Modus „Nur registrierte Nutzer“ antworten nur Personen, die Sie per E-Mail oder über einen Anmeldelink mit Nutzungsgrenze und Ablaufdatum eingeladen haben — jede Person einmal. | über den öffentlichen Link ist eine zweite Antwort nur im selben Browser gesperrt |
| Auffälligkeiten sehen | Die Auswertung zeigt eine Einschätzung der Datenqualität, zählt identische Antwortsätze und zeigt, wie lange die Teilnehmenden gebraucht haben. Viele Anfragen von derselben IP-Adresse werden gebremst. | Hinweise, kein automatischer Ausschluss — und ein Agent wie der von Westwood besteht solche Prüfungen |
| Offene Antworten lesen | Bei JTBD Switch und JTBD Story fasst die KI offene Antworten zu Themen mit Anteil, Stimmung und Beispielzitaten zusammen. | ab Decision Pro; bei großen Erhebungen liest das Modell eine ausgewogene Stichprobe, die Anteile beziehen sich auf sie |
| Ohne KI arbeiten | Der KI-Schalter sperrt jeden KI-Aufruf im Workspace. | — |
usabiq vermittelt kein Panel. Sie befragen die Menschen, die Sie selbst erreichen — nach Westwoods Befund eher ein Vorteil: Wo niemand für das Ausfüllen bezahlt wird, gibt es wenig Grund, Antworten zu fälschen. Auch der Preisvorteil synthetischer Befragungen schrumpft, wenn die echte nichts kostet: Free Discovery enthält dauerhaft eine aktive Umfrage mit 25 Antworten im Monat, allerdings ohne KI-Funktionen.
Eines tut usabiq nicht: Antworten erzeugen. Jede Zahl in der Auswertung Ihrer Umfragen stammt von einer Person, die teilgenommen hat. Die einzige Ausnahme sind die zwei Beispielumfragen, mit denen ein neuer Workspace startet. Sie sind als „Beispiel“ gekennzeichnet, mit Zufallswerten gefüllt und lassen sich löschen.
Wo KI in der Auswertung verlässlich ist und wo nicht, steht ausführlich in Kann man einer KI-Auswertung von Kundenfeedback trauen?
Das Fazit in einem Satz
Die Antwort auf zu langsame Forschung ist nicht erfundene Forschung, sondern schnellere echte — mit KI beim Aufbau und bei der Auswertung, und mit Menschen, die tatsächlich geantwortet haben.
Quellen und weiterführende Literatur
- Sean J. Westwood: The Potential Existential Threat of Large Language Models to Online Survey Research, PNAS (2025)
- Ashwini Ashokkumar, Luke Hewitt, Isaias Ghezae, Robb Willer: Large Language Models Can Predict the Results of Social Science Experiments, Nature (2026)
- Joon Sung Park et al.: Generative Agent Simulations of 1,000 People, arXiv:2411.10109 (2024)
- James Bisbee, Joshua D. Clinton, Cassy Dorff, Brenton Kenkel, Jennifer M. Larson: Synthetic Replacements for Human Survey Data? The Perils of Large Language Models, Political Analysis 32 (2024)
- Angelina Wang, Jamie Morgenstern, John P. Dickerson: Large Language Models That Replace Human Participants Can Harmfully Misportray and Flatten Identity Groups, Nature Machine Intelligence 7 (2025)
- Maria Rosala, Kate Moran: Synthetic Users — If, When, and How to Use AI-Generated „Research“, Nielsen Norman Group (2024)
Weiterlesen
Passt zu diesem Thema.
-
KI-Auswertung
Kann man einer KI-Auswertung von Kundenfeedback trauen?
Wo Sprachmodelle bei der Auswertung offener Antworten verlässlich sind, wo sie es nicht sind und welche fünf Kontrollen eine KI-Auswertung prüfbar machen. Ehrlich, mit Grenzen.
-
KI-Auswertung
Offene Antworten auswerten: von Hand, mit Excel oder mit KI
730 Freitextantworten liegen vor. Drei Wege führen zur Auswertung, jeder mit anderem Aufwand und anderer Güte. Ein ehrlicher Vergleich mit Zeitangaben, Grenzen und Qualitätssicherung.
-
Recht & Vertrauen
EU AI Act und Kundenbefragungen: was seit August 2026 gilt
Die KI-Verordnung ist seit dem 2. August 2026 im Hauptteil anwendbar, die Hochrisiko-Pflichten sind auf Dezember 2027 verschoben. Was das für Umfragen mit KI-Auswertung bedeutet — Rollen, Fristen, Verbote, Checkliste.
Echte Antworten, schnell genug.
Der KI-Creator entwirft aus Ihrem Ziel den Fragebogen, Ihre Kunden antworten per Link oder auf Einladung — und jede Zahl in der Auswertung stammt von einem Menschen, der tatsächlich geantwortet hat.