UX messen: UEQ+, SUS und NPS im Vergleich

In vielen Unternehmen laufen alle drei Kennzahlen gleichzeitig, und niemand kann sagen, welche welche Frage beantwortet. Das führt zu Diskussionen der Art: „Der NPS ist gestiegen, aber die Nutzer beschweren sich mehr — was stimmt denn nun?"

Beides stimmt. Die Zahlen messen nur nicht dasselbe.

Die kurze Antwort

Die letzte Zeile ist der wichtigste Teil der Tabelle. Alle drei Kennzahlen sind Thermometer. Ein Thermometer sagt Ihnen, dass Fieber vorliegt, nie warum.

SUS: die schnelle Gesamtnote

Der System Usability Scale misst die wahrgenommene Bedienbarkeit mit zehn Aussagen und liefert einen Wert zwischen 0 und 100. Der Durchschnitt über mehrere hundert veröffentlichte Studien liegt bei 68 Punkten.

Stärken: Zwei Minuten Aufwand für Teilnehmende. Ein einziger Wert, den auch die Geschäftsführung versteht. Ein belastbarer externer Vergleichswert. Funktioniert bereits ab etwa 15 Teilnehmenden für eine grobe Einordnung.

Grenzen: Ein einziger Wert für alles. Der SUS trennt nicht zwischen Verständlichkeit, Geschwindigkeit und Verlässlichkeit. Ein Absturz von 74 auf 61 sagt, dass etwas passiert ist, nicht was.

Einsetzen, wenn: Sie regelmäßig einen vergleichbaren Wert brauchen, Versionen gegenüberstellen wollen oder mit wenig Teilnehmerbudget arbeiten.

Rechenweg, Notenskala und die typischen Auswertungsfehler stehen ausführlich in SUS-Score interpretieren, der Fragebogen im Wortlaut auf der Methodenseite SUS.

UEQ+: die Kennzahl, die zeigt, woran es hängt

Der UEQ+ ist ein modularer Baukasten. Sie wählen aus einer Sammlung validierter Skalen die aus, die für Ihr Produkt relevant sind, und messen jede einzeln auf einer Skala von −3 bis +3.

Typische Skalen: Effizienz, Durchschaubarkeit, Verlässlichkeit, Nützlichkeit, Attraktivität, Vertrauenswürdigkeit, ästhetischer Eindruck. Jede besteht aus vier Gegensatzpaaren.

Der entscheidende Unterschied zum SUS: Sie sehen ein Profil statt einer Note. Ein Ergebnis kann lauten: Effizienz gut, Verlässlichkeit gut, Durchschaubarkeit deutlich negativ. Damit wissen Sie, wo Sie ansetzen — und ebenso wichtig, wo nicht.

Stärken: Diagnostisch. Anpassbar an Produktart, von der Industriesteuerung bis zum Onlineshop. Wissenschaftlich validiert mit Benchmark je Skala.

Grenzen: Längerer Fragebogen. Die Skalenauswahl muss begründet sein — wer alle Skalen nimmt, überfordert Teilnehmende. Braucht mehr Teilnehmende als der SUS, weil je Skala ausgewertet wird.

Einsetzen, wenn: Sie eine Ursache eingrenzen wollen, ein Produkt vor und nach einem Umbau vergleichen oder mehrere Produktbereiche gegeneinanderstellen.

Ein durchgerechnetes Beispiel steht im Fallbeispiel Kassensoftware: vier Skalen besser, zwei deutlich schlechter — und genau diese Aufteilung führte zur Entscheidung. Skalen, Auswertung und Grenzen im Detail stehen auf der Methodenseite UEQ+.

NPS: eine Geschäftskennzahl, keine UX-Kennzahl

Der Net Promoter Score stellt eine einzige Frage: „Wie wahrscheinlich ist es, dass Sie uns weiterempfehlen?" auf einer Skala von 0 bis 10. Werte von 9 und 10 gelten als Befürworter, 7 und 8 werden ignoriert, 0 bis 6 zählen als Kritiker.

NPS = Anteil Befürworter (%) − Anteil Kritiker (%)

Wertebereich: −100 bis +100

Stärken: Eine Frage. Etabliert bis in die Geschäftsleitung. Über Branchen hinweg vergleichbar. Gut geeignet als Verlaufskennzahl über Quartale.

Grenzen, und die sind erheblich:

• Er misst Weiterempfehlungsbereitschaft, nicht Bedienbarkeit. Ein Produkt kann mühsam zu bedienen und trotzdem alternativlos sein — dann ist der NPS gut und die UX schlecht.
• Die Kategorisierung wirft Information weg. Eine 7 und eine 0 landen beide bei den Kritikern, obwohl das völlig verschiedene Sachverhalte sind.
• Er ist unruhig bei kleinen Fallzahlen. Da eine Differenz zweier Anteile gebildet wird, schwankt der Wert bei unter 100 Antworten stark.
• Der behauptete Zusammenhang mit Umsatzwachstum ist in unabhängigen Untersuchungen nicht durchgängig bestätigt worden.

Einsetzen, wenn: Sie die Kundenbeziehung über die Zeit beobachten wollen. Nicht einsetzen, um Entwicklungsprioritäten abzuleiten. Genau das ist die häufigste Fehlnutzung.

Die vollständige Gegenüberstellung

Welche Kennzahl wann?

Sie starten und brauchen einen Ausgangswert. SUS. Schnell, billig, vergleichbar. Nach dem nächsten Umbau messen Sie erneut.

Der Wert ist schlecht und Sie wissen nicht, warum. UEQ+ mit drei bis fünf Skalen. Das Profil grenzt den Bereich ein.

Der Bereich ist eingegrenzt und Sie brauchen die Ursache. Keine Kennzahl mehr, sondern offene Fragen oder eine JTBD-Erhebung. Die Auswertung dazu steht in Offene Antworten auswerten.

Die Geschäftsführung will eine Zahl fürs Quartalsgespräch. NPS — mit der ausdrücklichen Ansage, dass daraus keine Roadmap folgt.

Die drei häufigsten Fehler

1. Den NPS als Produktkennzahl führen. Ein sinkender NPS führt dann zu hektischer Funktionsentwicklung, obwohl die Ursache im Preis, im Vertrieb oder im Support liegen kann.

2. Kennzahlen ohne Bezugspunkt berichten. Ein SUS von 72 ohne Vorjahreswert, ohne Wettbewerber und ohne Branchenwert ist eine Zahl ohne Aussage.

3. Alle drei gleichzeitig erheben. Ein Fragebogen mit SUS, UEQ+ und NPS dauert zwölf Minuten und verliert die Hälfte der Teilnehmenden. Wählen Sie eine Kennzahl je Erhebung — welche, folgt aus der anstehenden Entscheidung.

Wie sich daraus ein wiederholbarer Ablauf bauen lässt, steht in Wie optimieren wir unsere App?