Lekcja 5: zmierz efekt.

Wartość wyjściowa

Wartość wskaźnika przed działaniem – zmierzona, nie zapamiętana. Bez wartości wyjściowej nie ma porównania, jest tylko wrażenie.

Definicja

Licznik, mianownik, okres, źródło. Jeśli definicja zmienia się między „przed” a „po”, mierzysz definicję, a nie działanie.

Okres porównawczy

Ta sama długość, porównywalny sezon, zamknięty okres. Kwartał kontra dwa tygodnie to żadne porównanie.

Kohorta

Sprawy, które rozpoczęły się w danym okresie i są śledzone do dnia granicznego. Tylko tak porównujesz ścieżki, a nie migawki.

„Przypomnieliśmy się w sprawie 40 ofert” to aktywność. „Z 40 ofert, w których się przypomnieliśmy, 12 zostało rozstrzygniętych w ciągu 14 dni” to wynik. Aktywność łatwo zmierzyć i dobrze się z nią czuć. Wyniki to to, co robi klient. Mierz jedno i drugie, ale ich nie myl – i pozwól, by o sukcesie działania decydował wyłącznie wynik.

Software house wprowadza w kwietniu zasadę: każde zapytanie dostaje osobistą odpowiedź w ciągu czterech godzin roboczych. W czerwcu zespół melduje: „Liczba zamkniętych transakcji wzrosła o 30 %”. Brzmi dobrze. Sprawdzenie: wartość wyjściowa? W pierwszym kwartale wygrano 9 ze 120 zapytań, czyli 7,5 %. Definicja? Zamknięcia w odniesieniu do zapytań z kohorty, mierzone 60 dni po wpłynięciu. Okres porównawczy? Kohorta kwiecień–maj, mierzona pod koniec lipca: 13 ze 130, czyli 10 %. To poprawa z 7,5 do 10 % – około 33 % względnie, ale 2,5 punktu procentowego bezwzględnie.

Czy reguła zadziałała? Liczba się zmieniła. W tym samym okresie uproszczono jednak też cennik i zaczął pracę nowy handlowiec. Bez projektu badania, który rozdziela te wpływy – np. grupy porównawczej, w której reguła nie obowiązywała, albo przesuniętego w czasie startu w każdym zespole – stwierdzenie „czas reakcji zwiększył liczbę zamknięć” jest przypuszczeniem. Wiarygodnym przypuszczeniem, ale nie udowodnionym. Uczciwe zdanie brzmi: „Wskaźnik zamknięć kohorty wzrósł z 7,5% do 10%; reguła reakcji jest jedną z trzech zmian w tym okresie”.

• →Gdy istniała grupa porównawcza, która nie została objęta działaniem, a poza tym była porównywalna.
• →Gdy działanie było wprowadzane etapami, a efekt pojawiał się za każdym razem wraz z wdrożeniem.
• →Gdy wycofałeś działanie, a efekt zniknął.

Jeśli takiego projektu badania brakuje, opisujesz zmianę i wymieniasz konkurencyjne wyjaśnienia. To nie przyznanie się do słabości, tylko warunek, by kolejna decyzja opierała się na czymś solidnym.

1. 01Wybierz działanie, które trwa lub jest zaplanowane.
2. 02Zapisz wartość wyjściową, definicję (licznik, mianownik, okres, źródło), okres porównawczy i kohortę – zanim spojrzysz na wynik.
3. 03Zanotuj, jakie inne zmiany zachodzą w tym samym okresie.
4. 04Zapisz z góry zdanie, które powiesz w razie sukcesu – bez słowa „ponieważ”, chyba że masz do tego odpowiedni projekt badania.

• →Czy miałbyś wartość wyjściową bez tej lekcji? Jeśli nie, każdy dotychczasowy raport o sukcesie był tylko wrażeniem.
• →Czy podałeś osobno zmianę bezwzględną i względną? 33% względnie i 2,5 punktu procentowego bezwzględnie to ta sama liczba – a robią zupełnie inne wrażenie.
• →Które konkurencyjne wyjaśnienie jest najmocniejsze – i czy możesz je sprawdzić na dostępnych danych?

Na tym kończy się ścieżka samodzielnej nauki: hipoteza, lista tygodniowa, uporządkowane transakcje, policzona automatyzacja i projekt pomiaru. Jak zbudować z tego własne benchmarki, opisuje „Zbuduj własne benchmarki”.