Ders 5: Etkiyi ölç.

Başlangıç değeri

Önlemden önceki metrik değeri – hatırlanan değil, ölçülen. Başlangıç değeri olmadan karşılaştırma olmaz, yalnızca bir izlenim olur.

Tanım

Pay, payda, dönem, kaynak. Tanım öncesi ve sonrası arasında değişirse, önlemi değil tanımı ölçersin.

Karşılaştırma dönemi

Aynı uzunlukta, karşılaştırılabilir sezon, tamamlanmış. Bir çeyreği iki haftayla karşılaştırmak karşılaştırma değildir.

Kohort

Bir dönemde başlayan ve bir kesim tarihine kadar izlenen işlemler. Ancak böyle anlık görüntüleri değil, yolları karşılaştırırsın.

„40 teklifi takip ettik“ bir faaliyettir. „Takip edilen 40 tekliften 12'si 14 gün içinde karara bağlandı“ bir sonuçtur. Faaliyet kolay ölçülür ve iyi hissettirir. Sonuçlar müşterinin yaptığı şeydir. İkisini de ölç ama karıştırma – ve önlemin başarısına yalnızca sonucun karar vermesine izin ver.

Bir yazılım şirketi nisanda bir kural getiriyor: Her talep dört çalışma saati içinde kişisel bir yanıt alır. Haziranda ekip bildiriyor: „Kapanışlar %30 arttı.“ Kulağa iyi geliyor. Kontrol: Başlangıç değeri? İlk çeyrekte 120 talepten 9'u kazanıldı, yani %7,5. Tanım? Kohort taleplerine göre kapanışlar, girişten 60 gün sonra ölçülür. Karşılaştırma dönemi? Nisan–mayıs kohortu, temmuz sonunda ölçüldü: 130'dan 13'ü, yani %10. Bu, %7,5'ten %10'a bir iyileşme – göreli olarak yaklaşık %33, ama mutlak olarak 2,5 yüzde puan.

Kural işe yaradı mı? Sayı değişti. Ama aynı dönemde fiyat listesi de sadeleştirildi ve yeni bir satışçı işe başladı. Bu etkileri ayıran bir tasarım olmadan – örneğin kuralın uygulanmadığı bir karşılaştırma grubu ya da ekip başına zamanlaması kaydırılmış bir başlangıç – „yanıt süresi kapanışları artırdı“ bir tahmindir. Makul bir tahmin, ama kanıtlanmış değil. Dürüst cümle şudur: „Kohortun kapanış oranı %7,5'ten %10'a yükseldi; yanıt kuralı bu dönemdeki üç değişiklikten biridir.“

• →Önlemi almayan ve diğer açılardan karşılaştırılabilir bir grup varsa.
• →Önlem zamanlaması kaydırılarak uygulandıysa ve etki her seferinde uygulamayla birlikte ortaya çıktıysa.
• →Önlemi geri aldıysan ve etki kaybolduysa.

Böyle bir tasarım yoksa, değişikliği anlatır ve rakip açıklamaları belirtirsin. Bu bir zayıflık itirafı değil, bir sonraki kararın sağlam bir şeye dayanmasının önkoşuludur.

1. 01Devam eden veya planlanan bir önlem seç.
2. 02Başlangıç değerini, tanımı (pay, payda, dönem, kaynak), karşılaştırma dönemini ve kohortu yaz – sonuca bakmadan önce.
3. 03Aynı dönemde başka hangi değişikliklerin olduğunu not et.
4. 04Başarı durumunda söyleyeceğin cümleyi önceden yaz – bunun için bir tasarımın yoksa „çünkü“ kelimesi olmadan.

• →Bu ders olmadan başlangıç değerine sahip olur muydun? Olmazdıysan, şimdiye kadarki her başarı bildirimi bir izlenimdi.
• →Mutlak ve göreli değişikliği ayrı ayrı belirttin mi? Göreli %33 ile mutlak 2,5 yüzde puan aynı sayıdır – ve tamamen farklı etki yaratır.
• →En güçlü rakip açıklama hangisi – ve onu mevcut verilerle test edebilir misin?

Kendi kendine öğrenme yolu burada biter: bir hipotez, haftalık bir liste, temiz fırsatlar, hesaplanmış bir otomasyon ve bir ölçüm tasarımı. Bundan kendi kıyaslama değerlerini nasıl oluşturacağını „Kendi kıyaslama değerlerini oluştur“ anlatır.