Kann man einer KI-Auswertung von Kundenfeedback trauen?

Wer seit Jahren qualitativ arbeitet, reagiert auf „KI wertet Ihre offenen Antworten aus" zurecht skeptisch. Die Kodierung von Freitexten ist Handwerk mit Gütekriterien, und ein Verfahren, das in Sekunden ein Ergebnis ausspuckt, wirkt zunächst wie eine Abkürzung um genau diese Kriterien herum.

Die ehrliche Antwort ist zweigeteilt. Bei einer Teilaufgabe sind Sprachmodelle sehr gut. Bei einer anderen sind sie strukturell ungeeignet. Wer beides trennt, bekommt ein belastbares Verfahren. Wer es vermischt, bekommt eine hübsche Grafik mit unbekanntem Wahrheitsgehalt.

Was Sprachmodelle verlässlich können

Bedeutungsähnlichkeit erkennen. Das ist die Kernkompetenz und genau die Aufgabe, an der Stichwortsuche scheitert. Diese vier Antworten gehören zusammen, obwohl sie kaum gemeinsame Wörter haben:

„Der Versand war mir zu teuer." „5,90 auf einen 24-Euro-Warenkorb, das war es mir nicht wert." „Bei der Konkurrenz gibt es das ab 20 Euro portofrei." „Am Ende kam nochmal was drauf, was vorher nicht dastand."

Ein Mensch sieht das sofort. Eine Volltextsuche findet zwei von vier. Ein Sprachmodell findet alle vier.

Weitere Aufgaben, bei denen die Verlässlichkeit hoch ist:

• Zusammenfassen einer Gruppe von Antworten in einem Satz
• Stimmung einordnen auf grober Stufe (positiv, gemischt, negativ)
• Strukturierte Muster extrahieren, etwa die vier Kräfte einer Switch-Erhebung aus einem Fließtext
• Repräsentative Zitate auswählen, die eine Gruppe gut abbilden
• Mehrsprachiges Material zusammenführen, ohne vorher zu übersetzen

Wo sie strukturell schwach sind

Zählen und Rechnen. Das ist der wichtigste Punkt dieses Beitrags. Sprachmodelle erzeugen Text, sie führen keine Buchhaltung. Wenn ein Modell schreibt „37 Prozent nennen Versandkosten", ist diese Zahl geschätzt, nicht gezählt — und sie kann daneben liegen.

Die Konsequenz für den Aufbau: Das Modell ordnet Antworten Kategorien zu. Die Häufigkeiten, Anteile, Mittelwerte und Signifikanztests werden anschließend deterministisch aus dieser Zuordnung berechnet. Jedes System, in dem die Zahlen aus dem Modell selbst stammen, ist an diesem Punkt angreifbar.

Weitere Schwächen, die man kennen muss:

• Formulierungsabhängigkeit. Kleine Änderungen an der Aufgabenstellung verschieben die Clustergrenzen.
• Fehlende Konstanz. Zwei Durchläufe über dasselbe Material können leicht unterschiedliche Cluster ergeben — ein echtes Problem für Verlaufsvergleiche.
• Überinterpretation kleiner Mengen. Aus drei Antworten formuliert ein Modell bereitwillig ein Thema, das nach einem Muster klingt und keines ist.
• Kausalität. Modelle formulieren Ursache-Wirkungs-Sätze, obwohl die Daten nur einen Zusammenhang hergeben. Aus „unzufriedene Kunden nennen häufiger lange Wartezeiten" wird schnell „lange Wartezeiten verursachen Unzufriedenheit".
• Gefälligkeit. Auf eine suggestiv gestellte Frage liefert ein Modell eher die erwartete Antwort. Wer fragt „belegen die Daten, dass der Preis das Problem ist?", bekommt eher ein Ja.

Der Vergleich mit menschlicher Kodierung

Die Gegenprobe ist fair nur, wenn man den Maßstab richtig setzt. Menschliche Kodierung ist nicht perfekt, sie ist der Vergleichsmaßstab.

Zwei erfahrene Personen, die dasselbe Material unabhängig kodieren, stimmen typischerweise in 70 bis 85 Prozent der Fälle überein. Deshalb gibt es überhaupt Reliabilitätsmaße wie Krippendorffs Alpha — ein Eingeständnis, dass auch die Handarbeit streut.

Die Zeile zur Ermüdung wird selten erwähnt und ist praktisch bedeutsam. Antwort 600 wird von einem Menschen anders kodiert als Antwort 12 — nicht aus Nachlässigkeit, sondern weil sich das Kategoriensystem im Kopf während der Arbeit verschiebt.

Die Aufwandszeile im Vergleich mit den anderen Wegen steht in Offene Antworten auswerten.

Die fünf Kontrollen

Eine KI-Auswertung ist genau dann verteidigbar, wenn diese fünf Punkte erfüllt sind.

1. Zurückverfolgbarkeit. Jedes Cluster muss sich bis zu den Einzelantworten aufklappen lassen, aus denen es besteht. Wenn Sie im Gremium gefragt werden, worauf sich „Thema 3, 84 Nennungen" stützt, müssen Sie die 84 Antworten zeigen können. Ist das nicht möglich, ist die Auswertung wertlos, egal wie plausibel sie aussieht.

2. Stichprobenprüfung durch einen Menschen. Lesen Sie 10 bis 15 Prozent der Antworten selbst und vergleichen Sie Ihre Zuordnung mit der maschinellen. Notieren Sie die Abweichungsquote — das ist Ihr Gütemaß, und es gehört in den Bericht.

3. Zahlen deterministisch berechnen. Häufigkeiten und Statistiken werden aus der Zuordnung gerechnet, nicht vom Modell formuliert.

4. Kategoriensystem festschreiben. Für die erste Erhebung darf das System aus dem Material entstehen. Für jede Wiederholung wird es festgehalten und wiederverwendet, sonst vergleichen Sie zwei verschiedene Auswertungen miteinander.

5. Restkategorie im Blick behalten. Ein großes „Sonstiges" ist ein Warnsignal: Entweder war das Material sehr heterogen, oder die Struktur wurde nicht gefunden. Beides muss man wissen.

Die Datenschutzfrage

Sie ist ein eigenes Thema und hier nur in Kurzform: Freitextantworten enthalten regelmäßig personenbezogene Angaben, die niemand beabsichtigt hat — Namen von Beschäftigten, Vorgangsnummern, identifizierende Details. Bevor solche Texte an ein KI-System gehen, müssen sie bereinigt werden.

Dazu kommen die Fragen nach Serverstandort, Auftragsverarbeitungsvertrag, Unterauftragnehmern und dem Ausschluss der Trainingsnutzung. Die vollständige Prüfliste steht in Kundenbefragungen DSGVO-konform durchführen.

Wann man die KI abschalten sollte

Es gibt Fälle, in denen der Verzicht die richtige Entscheidung ist:

• Sehr kleine Fallzahlen. Unter etwa 50 Antworten lesen Sie schneller selbst, und das Ergebnis ist besser.
• Sensible Inhalte. Beschwerden über einzelne Beschäftigte, Gesundheitsangaben, arbeitsrechtlich relevante Aussagen.
• Erhebungen mit Beweischarakter, die vor Gremien oder Gerichten Bestand haben müssen.
• Wenn Ihre Rechtsabteilung nicht mitgeht. Eine Auswertung, die intern nicht getragen wird, ist keine Grundlage für Entscheidungen.

Ein Werkzeug, das die KI-Verarbeitung vollständig abschalten kann, ist deshalb kein Nebenmerkmal. Es ist die Voraussetzung dafür, dass die restlichen Funktionen in Umgebungen nutzbar bleiben, in denen KI nicht in Frage kommt.

Das Fazit in einem Satz

Ein Sprachmodell ersetzt nicht Ihr Urteil, es verkürzt den Weg von 700 Rohtexten zu einer prüfbaren Struktur — und ob diese Struktur trägt, entscheiden Sie mit den fünf Kontrollen, nicht das Modell.

Wer das akzeptiert, bekommt Auswertungen in Stunden statt Wochen. Wer es überspringt, bekommt Zahlen, die er im Ernstfall nicht erklären kann.