Les 5: effect meten.

Beginwaarde

De waarde van het kengetal vóór de maatregel – gemeten, niet herinnerd. Zonder beginwaarde is er geen vergelijking, alleen een indruk.

Definitie

Teller, noemer, periode, bron. Als de definitie tussen voor en na verandert, meet je de definitie, niet de maatregel.

Vergelijkingsperiode

Even lang, vergelijkbaar seizoen, afgesloten. Een kwartaal tegenover twee weken is geen vergelijking.

Cohort

Dossiers die in een bepaalde periode zijn begonnen en tot een peildatum worden gevolgd. Alleen zo vergelijk je trajecten, geen momentopnames.

“We hebben 40 offertes opgevolgd” is activiteit. “Van 40 opgevolgde offertes werd over 12 binnen 14 dagen beslist” is een resultaat. Activiteit is makkelijk te meten en voelt goed. Resultaten zijn wat de klant doet. Meet allebei, maar verwar ze niet – en laat alleen het resultaat bepalen of de maatregel geslaagd is.

Een softwarebedrijf voert in april een regel in: elke aanvraag krijgt binnen vier werkuren een persoonlijk antwoord. In juni meldt het team: “De deals zijn met 30% gestegen.” Klinkt goed. De controle: uitgangswaarde? In het eerste kwartaal werden 9 van de 120 aanvragen gewonnen, dus 7,5%. Definitie? Deals ten opzichte van aanvragen in het cohort, gemeten 60 dagen na binnenkomst. Vergelijkingsperiode? Cohort april–mei, gemeten eind juli: 13 van de 130, dus 10%. Dat is een verbetering van 7,5 naar 10 procent – zo’n 33% relatief, maar 2,5 procentpunt absoluut.

Heeft de regel gewerkt? Het getal is veranderd. In dezelfde periode is echter ook de prijslijst vereenvoudigd en is er een nieuwe verkoper begonnen. Zonder een opzet die deze invloeden scheidt – bijvoorbeeld een vergelijkingsgroep waarvoor de regel niet gold, of een gespreide start per team – is “de reactietijd heeft het aantal deals verhoogd” een vermoeden. Een plausibel vermoeden, maar geen bewezen. De eerlijke zin luidt: “Het closingpercentage van het cohort is gestegen van 7,5% naar 10%; de reactieregel is een van drie veranderingen in de periode.”

• →Als er een vergelijkingsgroep was die de maatregel niet kreeg en verder vergelijkbaar was.
• →Als de maatregel gefaseerd is ingevoerd en het effect telkens samen met de invoering optrad.
• →Als je de maatregel hebt teruggedraaid en het effect verdween.

Ontbreekt zo’n design, dan beschrijf je de verandering en noem je de concurrerende verklaringen. Dat is geen erkenning van zwakte, maar de voorwaarde dat de volgende beslissing op iets solides berust.

1. 01Kies een maatregel die loopt of gepland is.
2. 02Noteer uitgangswaarde, definitie (teller, noemer, periode, bron), vergelijkingsperiode en cohort – voordat je naar het resultaat kijkt.
3. 03Noteer welke andere veranderingen in dezelfde periode plaatsvinden.
4. 04Formuleer vooraf de zin die je bij succes gaat zeggen – zonder het woord “omdat”, tenzij je daar een opzet voor hebt.

• →Had je de uitgangswaarde gehad zonder deze les? Zo niet, dan was elk succesbericht tot nu toe een indruk.
• →Heb je absolute en relatieve verandering apart genoemd? 33% relatief en 2,5 procentpunt absoluut zijn hetzelfde getal – en komen totaal anders over.
• →Welke concurrerende verklaring is het sterkst – en kun je die met bestaande data toetsen?

Hiermee eindigt het zelfstudiepad: een hypothese, een weeklijst, schone deals, een doorgerekende automatisering en een meetopzet. Hoe je daaruit eigen benchmarks opbouwt, lees je in “Eigen benchmarks opbouwen”.