In sintesi
- I tassi di risposta sono crollati su ogni canale, quindi il vecchio riflesso di porre più domande a più persone non regge più. Oggi il vantaggio è di chi pone meno domande, più mirate, alle persone giuste.
- La maggior parte dei programmi di misurazione salta l'unico passaggio che tutela la qualità del dato. Solo il 4% testa le proprie survey con i clienti prima del lancio: così domande tendenziose o ambigue finiscono sul campo e falsano i risultati senza che nessuno se ne accorga.
- Una survey vale quanto la decisione per cui è stata costruita. Progettare l'analisi prima di mandare in campo il questionario è ciò che distingue un numero che oscilla da un risultato che fa muovere una roadmap.
Una survey raramente fallisce sul campo. Fallisce alla lavagna, nel momento in cui qualcuno scrive una domanda prima che si sia deciso quale scelta la risposta dovrà orientare. Tutto ciò che viene dopo, la formulazione, la scala, il campione, sconta a monte un brief che non c’è.
Il sintomo è noto. Un programma raccoglie feedback, pubblica una dashboard e riporta un punteggio che si muove di un punto a trimestre. Il vertice annuisce. Non cambia nulla. L’istinto è raccogliere più dati, ma accumulare dati sbagliati serve solo a dare più sicurezza a una risposta sbagliata.
È finita l’epoca delle tante domande poste a tante persone
La materia prima a basso costo su cui poggiavano i programmi di survey, l’attenzione, non c’è più. Secondo il Pew Research Center, il tasso di risposta di una tipica survey telefonica è sceso dal 36% del 1997 al 9% nel 2012, per poi scendere ancora fino ad appena il 6% nel 2018. Lo stesso vale per i canali email e in-app: chi ancora risponde non è più rappresentativo, e alzare i volumi per compensare aggrava la distorsione invece di correggerla.
Exhibit 1
La materia prima a basso costo su cui contavano le survey è svanita
Quando le risposte scarseggiano, ogni domanda che poni ha un costo opportunità. La logica si sposta dalla copertura alla precisione: porre il minor numero di domande che basta a risolvere una decisione concreta, al campione più piccolo che regge le segmentazioni analitiche che hai in mente.
Quando le risposte scarseggiano, ogni domanda che poni ha un costo opportunità. Conquistati il diritto di porla.
Quasi tutti i programmi saltano l’unico passaggio che tutela la qualità del dato
Il modo più rapido per rovinare una survey è anche il più diffuso, e prevenirlo non costa quasi nulla. Lo studio Forrester del 2023 sui programmi voice-of-the-customer ha rilevato che il 96% raccoglie e analizza regolarmente survey, eppure solo il 4% testa i propri questionari con i clienti prima del lancio.
È proprio in quella lacuna che si insinua l’errore di misurazione. Una domanda ambigua, “Quanto è soddisfatto della velocità e dell’affidabilità del nostro servizio”, obbliga a una sola risposta per due aspetti distinti, e il risultato è un dato impossibile da interpretare anche quando nel foglio di calcolo sembra impeccabile. Qualtrics è chiara sulle conseguenze: domande di questo tipo abbassano l’accuratezza e l’affidabilità di una survey e spingono le organizzazioni a decidere sulla base di presupposti errati. Una domanda tendenziosa fa lo stesso danno nella direzione opposta, confermando di nascosto il pregiudizio di chi l’ha formulata.
Niente di tutto questo sopravvive a un pretest. Dieci minuti con cinque intervistati veri intercettano la confusione che mille risposte si limiterebbero a mascherare.
Progetta l’analisi prima di scrivere il questionario
Il questionario è l’ultimo elemento che dovresti costruire, non il primo. Prima ancora di formulare una domanda, definisci l’analisi: quali segmenti confronterai, quali driver metterai in ordine di peso, quale azione ciascuna lettura potrebbe innescare. È quel piano a dettare le scale, il campione e le domande che ti puoi permettere di porre.
- Definisci la decisione. “Vogliamo sapere cosa provano i clienti” non è un brief. “Dobbiamo mettere in ordine di peso i driver del churn per segmento e usarli per dare ritmo alla roadmap” lo è. La decisione fissa l’analisi, e l’analisi fissa il questionario.
- Progetta prima le segmentazioni. Se la risposta deve reggere per segmento, dimensiona ogni segmento per garantire una lettura affidabile prima di andare in campo, non dopo.
- Un’idea per domanda. Formulazione neutra, una scala coerente, nessuna domanda doppia. Le domande critiche vanno all’inizio, prima che stanchezza e abbandoni assottiglino i dati.
- Misura i journey, non solo i singoli momenti. Il punteggio di un singolo touchpoint premia o penalizza il team sbagliato. McKinsey rileva che la performance sull’intero journey è correlata alla soddisfazione in misura dal 30 al 40% più forte rispetto a quella sui singoli touchpoint.
- Fai sempre il pretest. Cinque intervistati, dieci minuti. È il passaggio con il rendimento più alto dell’intero processo, e quasi nessuno lo fa.
- Chiudi il loop prima del lancio. Stabilisci chi agisce su ciascun risultato e come l’esito torna all’intervistato. Una survey di cui nessuno è responsabile delle risposte è solo una tassa sulla buona volontà delle persone.
Una buona survey è uno strumento decisionale, non un termometro
Si chiede per agire. Una survey che genera insight concreti si legge come la prima metà di una decisione: isola i pochi driver che spostano l’esito, li mantiene distinti per segmento e consegna al responsabile un passo successivo chiaro. Una survey-termometro restituisce un numero, e quel numero non cambia nulla.
È questa la linea che separa un’abitudine di misurazione da un vero programma di misurazione. La prima chiede “qual è il nostro punteggio”. Il secondo chiede “cosa faremo di diverso quando arriverà la risposta”, e progetta tutto a ritroso a partire da lì.
Per scoprire come costruiamo ricerca che guida le decisioni, esplora il nostro lavoro su Customer Experience e Voice of the Citizen, oppure sfoglia i case study.
Fonti
- Pew Research Center, "Pollsters face challenges in getting survey respondents," pewresearch.org.
- Pew Research Center, "Response rates in telephone surveys have resumed their decline," pewresearch.org.
- Forrester, "Many Surveys, Small Impact: Forrester's 2023 State Of VoC And CX Measurement Practices Survey," forrester.com.
- Qualtrics, "The dreaded double-barreled question and how to avoid it," qualtrics.com.
- McKinsey & Company, "From touchpoints to journeys: Seeing the world as customers do," mckinsey.com.