Research ohne Researcher: wie Produktteams selbst erheben

Die Stellenausschreibung für die UX-Researcherin ist seit acht Monaten offen, und die Frage, warum Nutzer nach dem zweiten Tag nicht wiederkommen, ist trotzdem zu beantworten. So sieht der Normalfall aus. In den meisten Produktteams gibt es niemanden mit Research-Ausbildung — und die Entscheidungen werden trotzdem getroffen, nur eben auf Zuruf.

Die gute Nachricht ist, dass ein großer Teil der Erhebungen, die solche Teams brauchen, standardisiert ist. Die schlechte: Teams scheitern selten an der Methode. Sie scheitern an fehlenden Rollen und an selbstgebauten Fragebögen.

Kann ein Produktteam ohne Researcherin selbst erheben?

Ja — für standardisierte, quantitative Verfahren. SUS, UEQ+ und die vier JTBD-Varianten sind Instrumente mit festem Fragenkatalog, festgelegter Skala und vorgegebener Auswertungslogik. Wer sie unverändert einsetzt, übernimmt eine fachliche Entscheidung, die andere getroffen und validiert haben. Das ist der eigentliche Grund, warum Research sich demokratisieren lässt: Nicht weil die Methodik einfacher geworden wäre, sondern weil sie im Instrument steckt.

Die Grenze verläuft dort, wo die Methode nicht mehr vorgegeben ist, sondern im Moment der Erhebung entsteht.

Die vorletzte Zeile ist die, bei der Teams sich am häufigsten überschätzen. Ein Interview wirkt wie ein Gespräch, und Gespräche kann jeder führen. Genau deshalb ist es das Verfahren mit der höchsten verdeckten Fehlerquote: Eine Suggestivfrage merkt niemand, und die Antwort klingt hinterher wie ein Befund.

Die vier Rollen, die besetzt sein müssen

Nicht vier Personen — vier Rollen. In einem kleinen Team kann eine Person zwei davon übernehmen. Aber keine darf unbesetzt bleiben, und zwei davon dürfen nicht in derselben Hand liegen.

Die dritte Rolle wird fast immer vergessen. Sie ist die billigste Qualitätssicherungsmaßnahme, die es gibt: eine Person, die den Fragebogen vor dem Versand liest und ehrlich sagt, welche Frage sie nicht versteht. Ein Fragebogen, der nach dem Versand auffällt, ist nicht reparierbar — die Antworten sind da.

Die erste Rolle ist die, an der sich entscheidet, ob die Erhebung überhaupt etwas nützt. Eine Anforderung wie „wir wollen mal wissen, wie zufrieden unsere Kunden sind" ist kein Auftrag, sondern eine Beschäftigungstherapie. Ein Auftrag lautet: „Wir müssen bis Ende November entscheiden, ob wir den Importassistenten überarbeiten oder die Suche. Uns fehlt dafür …"

Der Mindestprozess: fünf Schritte

1. Entscheidung benennen. Welche Entscheidung steht an, bis wann, und welche Information fehlt dafür? Ein Satz, schriftlich. Keine Erhebung ohne diesen Satz.
2. Instrument wählen, nicht bauen. Zur Frage das passende Standardverfahren suchen. Eine Übersicht, welche Frage welches Verfahren beantwortet, steht unter Methoden.
3. Gegenlesen und Pretest. Fünf Personen aus der Zielgruppe füllen den Fragebogen aus und sagen, wo sie gestockt haben. Ein halber Tag, der die meisten Verständnisprobleme findet.
4. Feld. Einladung, Erinnerung, Laufzeit begrenzen. Wie der Rücklauf steigt, steht in Rücklaufquote steigern.
5. Auswerten und entscheiden. Ergebnis, Entscheidung und — der wichtigste Teil — die ausdrückliche Absage: Was wird aufgrund dieser Daten nicht gebaut?

Der fünfte Punkt trennt Research von Beschäftigung. Eine Erhebung ohne dokumentierte Absage hat nichts priorisiert, sondern nur bestätigt. Der vollständige Zyklus einschließlich Nachmessung steht in Wie optimieren wir unsere App?

Warum Standardinstrumente das wichtigste Geländer sind

Der selbstgebaute Fragebogen ist die häufigste Fehlerquelle in Teams ohne Researcherin — nicht die Auswertung. Eigene Fragen zu formulieren fühlt sich an wie der einfachste Teil der Arbeit und ist der schwierigste. Doppelte Verneinungen, zwei Fragen in einem Satz, nicht erschöpfende Antwortoptionen, implizite Erwartungen: Solche Fehler sind im fertigen Datensatz nicht mehr erkennbar, weil die Zahlen ganz normal aussehen.

Ein Standardinstrument nimmt diese Entscheidung ab. Zusätzlich bringt es zwei Dinge mit, die sich nicht selbst herstellen lassen:

• Vergleichbarkeit über die Zeit. Derselbe SUS nach jedem größeren Release ergibt eine Reihe. Ein jedes Mal neu formulierter Fragebogen ergibt Einzelbilder.
• Vergleichswerte von außen. Dass der SUS-Durchschnitt über mehrere hundert Studien bei etwa 68 Punkten liegt (Sauro, 2011), macht den eigenen Wert erst interpretierbar. Einen Bezugspunkt für die eigene Erfindung gibt es nicht.

Die typischen Formulierungsfehler im Einzelnen stehen in Fragebogen erstellen: die häufigsten Fehler.

Vier Regeln statt einer Spezialistin

Wenn niemand im Team die fachliche Prüfung übernehmen kann, ersetzen vier Regeln sie näherungsweise:

1. Standardinstrument unverändert einsetzen. Keine Frage umformulieren, keine Skala kürzen. Jede Änderung kostet die Vergleichbarkeit.
2. Mindestfallzahl vorher festlegen und bei Unterschreitung nicht berichten. Welche Zahl nötig ist, rechnet der Stichprobenrechner aus.
3. Keine Auswertung durch die Person, die die Lösung schon kennt. Wer die Überarbeitung bereits geplant hat, liest die Daten anders. Das ist keine Charakterfrage.
4. Rohdaten aufheben und zugänglich machen. Eine Auswertung, die niemand nachrechnen kann, ist eine Behauptung.

Wie oft erheben?

Ein Quartalsrhythmus für die wiederkehrende Messung, anlassbezogene Erhebungen dazwischen. Die wiederkehrende Messung liefert die Reihe, an der Sie Wirkung ablesen können; die anlassbezogene beantwortet eine konkrete Frage, die gerade ansteht.

Häufiger als quartalsweise zu messen bringt bei Produktänderungen selten neue Information und ermüdet die Befragten. Seltener als halbjährlich zu messen zerreißt die Reihe.

Wann Sie doch eine Researcherin brauchen

Drei Signale, bei denen externe Unterstützung die günstigere Entscheidung ist:

• Die Frage ist explorativ. Sie wissen nicht, was Sie fragen sollen. Standardinstrumente helfen nur, wenn die Fragestellung steht.
• Die Entscheidung ist teuer oder schwer umkehrbar. Plattformwechsel, Preismodell, Zielgruppenwechsel. Hier lohnt eine zweite fachliche Meinung auf das Design der Erhebung, auch wenn das Team sie selbst durchführt.
• Die Ergebnisse widersprechen sich wiederholt. Das deutet meistens auf einen systematischen Fehler in der Erhebung hin, nicht auf widersprüchliche Nutzer.

In allen drei Fällen reicht oft ein Tag Beratung auf das Erhebungsdesign — nicht eine Festanstellung. Die Durchführung bleibt im Team, und genau dort gehört sie hin: Wer die Daten selbst erhoben hat, glaubt dem Ergebnis auch dann, wenn es unbequem ist.