Offene Antworten auswerten: von Hand, mit Excel oder mit KI

In jeder Umfrage gibt es zwei Sorten von Antworten. Die geschlossenen sind sofort auswertbar und sagen Ihnen genau das, was Sie zu fragen gedacht haben. Die offenen sind mühsam und enthalten das, woran Sie nicht gedacht haben.

Deshalb ist die Versuchung groß, auf offene Fragen zu verzichten — und deshalb ist es ein Fehler. Dieser Beitrag vergleicht die drei Wege, die aus Freitexten Erkenntnisse machen.

Warum offene Antworten überhaupt nötig sind

Weil geschlossene Fragen nur bestätigen oder widerlegen können, was Sie bereits vermuten. Eine Auswahlliste mit acht Antwortmöglichkeiten misst acht Hypothesen. Der neunte Grund, der bei vierzig Prozent Ihrer Kunden der eigentliche ist, taucht darin nicht auf.

Das ist besonders dann relevant, wenn Ihre Kennzahlen gut aussehen und die Realität nicht dazu passt. Ein Beispiel dafür steht im Fallbeispiel Support-Zufriedenheit: Alle Werte grün, trotzdem Eskalationen. Der Grund stand ausschließlich in den Freitexten.

Weg 1: Manuelle Kodierung

Der methodische Goldstandard und der teuerste Weg. Sie lesen alle Antworten, bilden Kategorien, ordnen jede Antwort einer oder mehreren Kategorien zu und zählen aus.

Das Verfahren nach Mayring in Kurzform:

1. Durchsicht einer Teilmenge, etwa 15 Prozent, ohne zu kodieren.
2. Kategoriensystem bilden, induktiv aus dem Material oder deduktiv aus der Theorie.
3. Probekodierung an einer weiteren Teilmenge, Kategorien schärfen.
4. Vollkodierung des gesamten Materials.
5. Zweitkodierung durch eine zweite Person an einer Stichprobe, Übereinstimmung berechnen.

Der fünfte Schritt entscheidet über die Belastbarkeit. Eine Kodierung, die nur eine Person vorgenommen hat, ist eine Meinung mit Tabellenform.

Aufwand: Bei 700 Antworten à zwei bis drei Sätzen sind 15 bis 25 Stunden realistisch, die Zweitkodierung nicht eingerechnet.

Wann es sich lohnt: Bei Erhebungen, die veröffentlicht oder vor Gremien verteidigt werden. Bei sensiblen Themen. Bei kleinen Fallzahlen, wo jede Antwort zählt.

Weg 2: Excel und Stichwortsuche

Der schnellste Weg und der mit der größten blinden Stelle. Sie filtern die Antworten nach Begriffen, zählen Treffer und bauen daraus eine Auswertung.

Das funktioniert für einen einzigen Zweck gut: eine konkrete Vermutung prüfen. Wenn Sie wissen wollen, wie oft „Versandkosten" vorkommt, ist die Suche in Sekunden erledigt.

Für alles andere hat der Weg ein grundsätzliches Problem: Er findet ausschließlich, wonach Sie suchen. Menschen schreiben denselben Sachverhalt sehr verschieden:

„Der Versand war mir zu teuer." „5,90 auf einen 24-Euro-Warenkorb, das war es mir nicht wert." „Bei der Konkurrenz gibt es das ab 20 Euro portofrei." „Am Ende kam nochmal was drauf, was vorher nicht dastand."

Eine Suche nach „Versand" findet zwei von vier. Die vierte Antwort ist die interessanteste, weil sie nicht die Höhe der Kosten kritisiert, sondern den Zeitpunkt ihrer Anzeige. Sie enthält kein einziges Suchwort.

Aufwand: eine bis drei Stunden. Risiko: Sie bestätigen Ihre eigenen Annahmen und halten das für ein Ergebnis.

Weg 3: KI-Clustering

Ein Sprachmodell gruppiert die Antworten nach Bedeutung statt nach Wortlaut. Die vier Versandaussagen von oben landen im selben Cluster, obwohl sie kaum gemeinsame Wörter haben. Genau das ist der Unterschied zur Stichwortsuche.

Typischerweise entsteht dabei je Cluster: ein Name, die Häufigkeit, eine Stimmungseinordnung und eine Auswahl repräsentativer Originalzitate.

Aufwand: Minuten für den Durchlauf, plus die Kontrollschleife.

Und die ist nicht verhandelbar. Ein Clustering ohne Prüfung ist eine hübsche Grafik mit unbekanntem Wahrheitsgehalt. Drei Kontrollen sollten Sie immer durchführen:

1. Zurückverfolgbarkeit. Jedes Cluster muss sich zu den Einzelantworten aufklappen lassen, aus denen es entstanden ist. Wenn das nicht geht, können Sie die Auswertung nicht verteidigen.
2. Stichprobenprüfung. Lesen Sie 10 bis 15 Prozent der Antworten selbst und vergleichen Sie Ihre Einordnung mit der maschinellen.
3. Restkategorie kontrollieren. Ein großes „Sonstiges" ist ein Warnsignal. Entweder war das Material sehr heterogen, oder das Clustering hat die Struktur nicht gefunden.

Wo die Grenzen von Sprachmodellen bei dieser Aufgabe genau liegen, steht in Kann man einer KI-Auswertung von Kundenfeedback trauen? Wie man offene Fragen formuliert, die überhaupt etwas Auswertbares ergeben, erklärt die Methodenseite Freier Fragebogen.

Der Vergleich

Die vorletzte Zeile wird oft übersehen. Zwei Menschen kodieren dasselbe Material unterschiedlich, und dasselbe Sprachmodell kann bei zwei Durchläufen leicht abweichende Cluster bilden. Für Verlaufsvergleiche über mehrere Erhebungen brauchen Sie deshalb ein festes Kategoriensystem, das nicht bei jedem Durchlauf neu entsteht.

Der praktikable Weg

Für die allermeisten Erhebungen im Unternehmenskontext:

1. KI clustert das gesamte Material und schlägt Kategorien vor.
2. Ein Mensch prüft eine Stichprobe von 10 bis 15 Prozent gegen und korrigiert Clusterzuschnitte, die nicht tragen.
3. Das korrigierte Kategoriensystem wird festgeschrieben und für Folgeerhebungen wiederverwendet.
4. Die Originalzitate bleiben sichtbar. In der Präsentation überzeugt ein wörtliches Zitat mehr als jedes Balkendiagramm.

Damit bekommen Sie die Geschwindigkeit der Maschine und die Verantwortung eines Menschen, der das Ergebnis geprüft hat und dafür einstehen kann.

Drei Fehler, die die Auswertung ruinieren

1. Zu früh kategorisieren. Wer das Kategoriensystem festlegt, bevor er das Material gesehen hat, findet darin genau seine Vorannahmen wieder.

2. Häufigkeit mit Bedeutung verwechseln. Ein Cluster mit drei Nennungen kann wichtiger sein als eines mit achtzig, wenn dahinter Ihre umsatzstärksten Kunden stehen. Verschneiden Sie Cluster immer mit den Segmentmerkmalen.

3. Die Frage schlecht stellen. „Haben Sie noch Anmerkungen?" liefert leere Felder. „Was hat Sie beim letzten Mal am meisten aufgehalten?" liefert Substanz. Mehr dazu in Rücklaufquote steigern