Pelajaran 5: Mengukur dampak.

Nilai awal

Nilai metrik sebelum langkah dijalankan – diukur, bukan diingat. Tanpa nilai awal tidak ada perbandingan, hanya kesan.

Definisi

Pembilang, penyebut, periode, sumber. Jika definisinya berubah antara sebelum dan sesudah, yang kamu ukur adalah definisinya, bukan langkahnya.

Periode pembanding

Sama panjang, musim yang sebanding, sudah selesai. Satu kuartal dibandingkan dua minggu bukanlah perbandingan.

Kohort

Proses yang dimulai dalam satu periode dan diikuti sampai tanggal acuan. Hanya dengan begitu kamu membandingkan perjalanan, bukan potret sesaat.

„Kami menindaklanjuti 40 penawaran“ adalah aktivitas. „Dari 40 penawaran yang ditindaklanjuti, 12 diputuskan dalam 14 hari“ adalah hasil. Aktivitas mudah diukur dan terasa menyenangkan. Hasil adalah apa yang dilakukan pelanggan. Ukur keduanya, tetapi jangan tertukar – dan biarkan hanya hasil yang menentukan keberhasilan langkah itu.

Sebuah perusahaan software menerapkan aturan pada bulan April: Setiap pertanyaan masuk mendapat jawaban personal dalam empat jam kerja. Pada bulan Juni tim melaporkan: „Closing naik 30 %.“ Kedengarannya bagus. Pemeriksaannya: Nilai awal? Pada kuartal pertama 9 dari 120 pertanyaan dimenangkan, jadi 7,5 %. Definisi? Closing dibandingkan pertanyaan masuk dalam kohort, diukur 60 hari setelah masuk. Periode pembanding? Kohort April–Mei, diukur akhir Juli: 13 dari 130, jadi 10 %. Itu peningkatan dari 7,5 ke 10 poin persentase – sekitar 33 % secara relatif, tetapi 2,5 poin persentase secara absolut.

Apakah aturannya berhasil? Angkanya berubah. Namun pada periode yang sama daftar harga juga disederhanakan dan seorang tenaga penjualan baru mulai bekerja. Tanpa desain yang memisahkan pengaruh-pengaruh ini – misalnya kelompok pembanding yang tidak menerapkan aturan, atau mulai bertahap per tim –, „waktu respons meningkatkan closing“ hanyalah dugaan. Dugaan yang masuk akal, tetapi belum terbukti. Kalimat yang jujur adalah: „Tingkat closing kohort naik dari 7,5 % ke 10 %; aturan respons adalah satu dari tiga perubahan dalam periode tersebut.“

• →Jika ada kelompok pembanding yang tidak mendapat langkah itu dan selebihnya sebanding.
• →Jika langkah itu diterapkan secara bertahap dan efeknya muncul setiap kali diterapkan.
• →Jika kamu membatalkan langkah itu dan efeknya hilang.

Jika desain seperti itu tidak ada, kamu menggambarkan perubahannya dan menyebut penjelasan pesaingnya. Itu bukan pengakuan kelemahan, melainkan syarat agar keputusan berikutnya berdiri di atas dasar yang kokoh.

1. 01Pilih satu langkah yang sedang berjalan atau direncanakan.
2. 02Tuliskan nilai awal, definisi (pembilang, penyebut, periode, sumber), periode pembanding, dan kohort – sebelum kamu melihat hasilnya.
3. 03Catat perubahan lain apa saja yang terjadi pada periode yang sama.
4. 04Rumuskan sejak awal kalimat yang akan kamu ucapkan jika berhasil – tanpa kata „karena“, kecuali kamu punya desain untuk itu.

• →Apakah kamu akan punya nilai awal tanpa pelajaran ini? Jika tidak, setiap laporan keberhasilan sebelumnya hanyalah kesan.
• →Sudahkah kamu menyebut perubahan absolut dan relatif secara terpisah? 33 % relatif dan 2,5 poin persentase absolut adalah angka yang sama – dan kesannya sangat berbeda.
• →Penjelasan pesaing mana yang paling kuat – dan bisakah kamu memeriksanya dengan data yang ada?

Dengan ini jalur belajar mandiri selesai: satu hipotesis, satu daftar mingguan, deal yang rapi, satu otomatisasi yang sudah dihitung, dan satu desain pengukuran. Cara membangun benchmark sendiri dari situ dijelaskan di „Membangun benchmark sendiri“.