レッスン5：効果を測る。

ベースライン

施策前の指標の値 — 記憶ではなく測定したもの。ベースラインがなければ比較はできず、印象しか残りません。

定義

分子、分母、期間、出典。前後で定義が変われば、測っているのは施策ではなく定義です。

比較期間

同じ長さ、比較可能な時期、完了済み。四半期と2週間を比べても比較にはなりません。

コホート

ある期間に始まり、基準日まで追跡された案件。そうすることで初めて、スナップショットではなく流れを比較できます。

「見積もり40件をフォローアップした」は活動です。「フォローアップした見積もり40件のうち12件が14日以内に決まった」は成果です。活動は測りやすく、手応えも感じられます。成果とは、顧客が実際に起こす行動です。両方を測りつつ混同せず、施策の成否は成果だけで判断しましょう。

あるソフトウェア会社が4月にルールを導入しました。すべての問い合わせに、4営業時間以内に個別の返信をする、というものです。6月、チームは「成約が30%増えた」と報告します。良さそうに聞こえます。検証してみましょう。基準値は？ 第1四半期は120件の問い合わせのうち9件を受注、つまり7.5%。定義は？ コホートの問い合わせに対する成約で、受付から60日後に測定。比較期間は？ 4〜5月のコホートを7月末に測定すると130件中13件、つまり10%。これは7.5%から10%への改善です。相対では約33%ですが、絶対値では2.5ポイントです。

そのルールは効果があったのでしょうか？数字は変わりました。しかし同じ期間に、料金表が簡素化され、新しい営業担当者も加わっています。こうした影響を切り分ける設計、たとえばルールを適用しなかった比較グループや、チームごとに時期をずらした導入がなければ、「対応時間が成約を増やした」というのは推測にすぎません。もっともらしい推測ではあっても、証明されたものではありません。誠実な表現はこうなります：「このコホートの成約率は7.5%から10%に上昇した。対応ルールは、この期間の3つの変更のうちの1つである。」

• →施策を受けなかった、それ以外は同等の比較グループがあった場合。
• →施策を時期をずらして導入し、そのたびに導入とともに効果が現れた場合。
• →施策を取りやめたら効果が消えた場合。

そのような設計がない場合は、変化を記述し、競合する説明を挙げてください。それは弱さを認めることではなく、次の判断を確かなものの上に立たせるための前提条件です。

1. 01実施中または計画中の施策を選んでください。
2. 02結果を見る前に、基準値、定義（分子、分母、期間、データソース）、比較期間、コホートを書き留めましょう。
3. 03同じ期間にほかにどんな変化があるかを記録しましょう。
4. 04成功したときに言う一文を、事前に書き出しておきます。そのための設計がない限り、「なぜなら」という言葉は使いません。

• →このレッスンがなくても、基準値はそろっていましたか？そうでなければ、これまでの成功報告はすべて印象にすぎませんでした。
• →絶対的な変化と相対的な変化を分けて示しましたか？相対で33%と絶対で2.5ポイントは同じ数字ですが、見え方はまったく異なります。
• →最も有力な別の説明は何か？それを手持ちのデータで検証できるか？

これで自習パスは完了です。ひとつの仮説、週次リスト、整理された商談、計算済みの自動化、そして計測設計がそろいました。そこから独自のベンチマークを作る方法は「独自のベンチマークを構築する」で解説しています。