Kurz gefasst
- Die Rücklaufquoten sind über alle Kanäle hinweg eingebrochen, deshalb funktioniert der alte Reflex, mehr Menschen mehr Fragen zu stellen, nicht mehr. Im Vorteil ist heute, wer den richtigen Menschen weniger, aber präzisere Fragen stellt.
- Die meisten Messprogramme überspringen den einen Schritt, der die Datenqualität schützt. Nur 4 % testen ihre Befragungen vorab mit Kundinnen und Kunden, sodass suggestive und doppelläufige Fragen ins Feld gelangen und die Ergebnisse unbemerkt verfälschen.
- Eine Befragung ist nur so gut wie die Entscheidung, für die sie konzipiert wurde. Die Analyse zu entwerfen, bevor der Fragebogen ins Feld geht, ist der Unterschied zwischen einer Zahl, die schwankt, und einer Erkenntnis, die eine Roadmap bewegt.
Eine Befragung scheitert selten im Feld. Sie scheitert am Whiteboard, in dem Moment, in dem jemand eine Frage formuliert, bevor man sich darauf geeinigt hat, welche Entscheidung die Antwort eigentlich stützen soll. Alles Weitere, die Formulierung, die Skala, die Stichprobe, ist nur die Folge eines fehlenden Briefings.
Das Symptom ist vertraut. Ein Programm sammelt Feedback, liefert ein Dashboard aus und meldet einen Wert, der sich im Quartal um einen Punkt bewegt. Die Führung nickt. Nichts ändert sich. Der Reflex lautet, mehr Daten zu sammeln, aber mehr von den falschen Daten erkauft nur eine falsche Antwort, die sich noch sicherer gibt.
Die Ära, immer mehr Menschen immer mehr Fragen zu stellen, ist vorbei
Der günstige Rohstoff, auf dem Befragungsprogramme aufgebaut waren, die Aufmerksamkeit, ist verschwunden. Beim Pew Research Center fiel die Rücklaufquote einer typischen Telefonbefragung von 36 % im Jahr 1997 auf 9 % im Jahr 2012 und sank weiter auf nur noch 6 % im Jahr 2018. Das Muster gilt auch für E-Mail- und In-App-Kanäle: Wer überhaupt noch antwortet, ist nicht mehr repräsentativ, und mehr Volumen zum Ausgleich verschärft die Verzerrung, statt sie zu beheben.
Abbildung 1
Der günstige Rohstoff, auf den Befragungen angewiesen waren, ist verdampft
Wenn der Rücklauf knapp ist, hat jede Frage, die Sie stellen, ihre Opportunitätskosten. Die Disziplin verschiebt sich von Abdeckung zu Präzision: Stellen Sie die wenigsten Fragen, die eine echte Entscheidung klären, an die kleinste Stichprobe, die die geplanten Auswertungen trägt.
Wenn der Rücklauf knapp ist, hat jede Frage, die Sie stellen, ihre Opportunitätskosten. Verdienen Sie sich das Recht, sie zu stellen.
Die meisten Programme überspringen den einen Schritt, der die Datenqualität schützt
Der schnellste Weg, eine Befragung zu ruinieren, ist zugleich der häufigste, und seine Verhinderung kostet fast nichts. Forresters Studie zu Voice-of-the-Customer-Programmen aus dem Jahr 2023 ergab, dass 96 % regelmäßig Befragungen erheben und auswerten, aber nur 4 % ihre Fragebögen vor dem Feldstart mit Kundinnen und Kunden vorab testen.
Genau an dieser Stelle schleicht sich Messfehler ein. Eine doppelläufige Frage wie „Wie zufrieden sind Sie mit der Geschwindigkeit und der Zuverlässigkeit unseres Service?“ erzwingt eine Antwort auf zwei unterschiedliche Sachverhalte, und heraus kommen Daten, die Sie nicht deuten können, selbst wenn sie in der Tabelle sauber aussehen. Qualtrics benennt die Folge unmissverständlich: Solche Fragen mindern die Genauigkeit und Zuverlässigkeit einer Befragung und führen dazu, dass Organisationen Entscheidungen auf Basis falscher Annahmen treffen. Eine Suggestivfrage richtet denselben Schaden in die entgegengesetzte Richtung an und bestätigt stillschweigend die Voreingenommenheit dessen, der sie formuliert hat.
Nichts davon übersteht einen Pretest. Zehn Minuten mit fünf echten Befragten legen die Verwirrung offen, die tausend Antworten hinterher nur kaschieren.
Entwerfen Sie die Analyse, bevor Sie den Fragebogen schreiben
Der Fragebogen ist das letzte Artefakt, das Sie bauen sollten, nicht das erste. Vor jeder Formulierung klären Sie die Analyse: welche Segmente Sie vergleichen, welche Treiber Sie priorisieren, welche Maßnahme jede Auswertung auslösen könnte. Dieser Plan bestimmt die Skalen, die Stichprobe und die Fragen, die Sie überhaupt stellen dürfen.
- Benennen Sie die Entscheidung. „Wir wollen wissen, wie Kundinnen und Kunden empfinden“ ist kein Briefing. „Wir müssen die Abwanderungstreiber nach Segment priorisieren, um die Roadmap zu takten“ schon. Die Entscheidung legt die Analyse fest, und die Analyse legt den Fragebogen fest.
- Entwerfen Sie die Auswertungen zuerst. Wenn die Antwort je Segment Bestand haben muss, dimensionieren Sie jedes Segment so, dass es vor dem Feldstart eine belastbare Aussage trägt, nicht danach.
- Eine Idee pro Frage. Neutrale Formulierung, eine durchgängige Skala und keine zusammengesetzten Fragen. Kritische Items stehen früh, bevor Ermüdung und Abbruch die Daten ausdünnen.
- Messen Sie Journeys, nicht nur Momente. Ein einzelner Touchpoint-Wert schmeichelt dem falschen Team oder bestraft es. McKinsey stellt fest, dass die Leistung über vollständige Journeys 30 bis 40 % stärker mit der Zufriedenheit korreliert als die Leistung an einzelnen Touchpoints.
- Pretesten Sie, jedes Mal. Fünf Befragte, zehn Minuten. Es ist der Schritt mit dem höchsten Ertrag im gesamten Prozess, und fast niemand tut es.
- Schließen Sie den Regelkreis vor dem Launch. Legen Sie fest, wer auf jede Erkenntnis hin handelt und wie das Ergebnis zur befragten Person zurückkehrt. Eine Befragung, für deren Antwort sich niemand verantwortlich fühlt, zehrt nur vom Wohlwollen Ihrer Kundinnen und Kunden.
Eine gute Befragung ist ein Entscheidungsinstrument, kein Thermometer
Der Sinn des Fragens ist das Handeln. Eine Befragung, die echte Erkenntnis liefert, liest sich wie die erste Hälfte einer Entscheidung: Sie isoliert die wenigen Treiber, die das Ergebnis bewegen, hält sie je Segment getrennt und reicht dem Verantwortlichen einen klaren nächsten Schritt. Eine Befragung, die nur eine Thermometeranzeige liefert, meldet eine Zahl, und die Zahl ändert nichts.
Genau das ist die Grenze zwischen einer Messgewohnheit und einem Messprogramm. Die erste fragt: „Wie hoch ist unser Score?“ Das zweite fragt: „Was machen wir anders, wenn die Antwort vorliegt?“ und entwickelt von dort aus alles rückwärts.
Wie wir Research aufbauen, das Entscheidungen vorantreibt, sehen Sie in unserer Arbeit zu Customer Experience und Voice of the Citizen oder in den Fallstudien.
Quellen
- Pew Research Center, „Pollsters face challenges in getting survey respondents," pewresearch.org.
- Pew Research Center, „Response rates in telephone surveys have resumed their decline," pewresearch.org.
- Forrester, „Many Surveys, Small Impact: Forrester's 2023 State Of VoC And CX Measurement Practices Survey," forrester.com.
- Qualtrics, „The dreaded double-barreled question and how to avoid it," qualtrics.com.
- McKinsey & Company, „From touchpoints to journeys: Seeing the world as customers do," mckinsey.com.