Lezione 5: misurare l'effetto.

Valore di partenza

Il valore dell'indicatore prima dell'intervento – misurato, non ricordato. Senza valore di partenza non c'è confronto, solo un'impressione.

Definizione

Numeratore, denominatore, periodo, fonte. Se la definizione cambia tra prima e dopo, misuri la definizione, non l'intervento.

Periodo di confronto

Stessa durata, stagione comparabile, concluso. Un trimestre contro due settimane non è un confronto.

Coorte

Casi iniziati in un periodo e seguiti fino a una data di riferimento. Solo così confronti percorsi, non istantanee.

«Abbiamo ricontattato 40 offerte» è un'attività. «Delle 40 offerte ricontattate, 12 sono state decise entro 14 giorni» è un risultato. L'attività è facile da misurare e dà una bella sensazione. I risultati sono ciò che fa il cliente. Misura entrambi, ma non confonderli – e lascia che sia solo il risultato a decidere il successo dell'intervento.

Una software house introduce ad aprile una regola: ogni richiesta riceve una risposta personale entro quattro ore lavorative. A giugno il team riferisce: «Le chiusure sono aumentate del 30 %.» Suona bene. La verifica: valore di partenza? Nel primo trimestre sono state vinte 9 richieste su 120, cioè il 7,5 %. Definizione? Chiusure rispetto alle richieste della coorte, misurate 60 giorni dopo l'arrivo. Periodo di confronto? Coorte aprile–maggio, misurata a fine luglio: 13 su 130, cioè il 10 %. È un miglioramento da 7,5 a 10 punti percentuali – circa il 33 % relativo, ma 2,5 punti percentuali assoluti.

La regola ha funzionato? Il numero è cambiato. Nello stesso periodo, però, è stato anche semplificato il listino prezzi ed è arrivato un nuovo commerciale. Senza un disegno che separi questi effetti – ad esempio un gruppo di confronto in cui la regola non valeva, o un avvio sfalsato per team –, «il tempo di risposta ha aumentato le chiusure» è una supposizione. Plausibile, ma non dimostrata. La frase onesta è: «Il tasso di chiusura della coorte è salito dal 7,5 % al 10 %; la regola sulla risposta è uno di tre cambiamenti nel periodo.»

• →Se c'era un gruppo di confronto che non ha ricevuto l'intervento ed era per il resto comparabile.
• →Se l'intervento è stato introdotto in modo sfalsato e l'effetto è comparso ogni volta con l'introduzione.
• →Se hai ritirato l'intervento e l'effetto è sparito.

Se manca un disegno del genere, descrivi il cambiamento e nomini le spiegazioni concorrenti. Non è un'ammissione di debolezza, ma la condizione perché la prossima decisione poggi su qualcosa di solido.

1. 01Scegli un intervento in corso o pianificato.
2. 02Scrivi valore di partenza, definizione (numeratore, denominatore, periodo, fonte), periodo di confronto e coorte – prima di guardare il risultato.
3. 03Annota quali altri cambiamenti avvengono nello stesso periodo.
4. 04Formula in anticipo la frase che dirai in caso di successo – senza la parola «perché», a meno che tu non abbia un disegno per dimostrarlo.

• →Avresti avuto il valore di partenza senza questa lezione? Se no, ogni annuncio di successo finora era un'impressione.
• →Hai indicato separatamente il cambiamento assoluto e quello relativo? 33 % relativo e 2,5 punti percentuali assoluti sono lo stesso numero – e fanno un effetto completamente diverso.
• →Qual è la spiegazione concorrente più forte – e puoi verificarla con i dati disponibili?

Qui finisce il percorso di autoapprendimento: un'ipotesi, una lista settimanale, trattative pulite, un'automazione calcolata e un disegno di misurazione. Come costruire da qui i tuoi benchmark lo spiega «Costruire i propri benchmark».