레슨 5: 효과 측정하기.

기준값

조치 전 지표의 값 – 기억이 아니라 측정한 값. 기준값이 없으면 비교가 아니라 인상만 남아요.

정의

분자, 분모, 기간, 출처. 전후로 정의가 바뀌면 조치가 아니라 정의를 측정하는 셈이에요.

비교 기간

같은 길이, 비슷한 시즌, 끝난 기간. 한 분기와 2주를 비교하는 건 비교가 아니에요.

코호트

특정 기간에 시작해 기준일까지 추적한 건들이에요. 그래야 순간의 스냅샷이 아니라 흐름을 비교할 수 있어요.

"견적 40건을 후속 조치했다"는 활동이에요. "후속 조치한 견적 40건 중 12건이 14일 안에 결정되었다"는 결과예요. 활동은 측정하기 쉽고 기분도 좋아요. 결과는 고객이 하는 행동이에요. 둘 다 측정하되 혼동하지 마세요. 조치의 성공 여부는 결과로만 판단하세요.

한 소프트웨어 회사가 4월에 규칙을 도입해요: 모든 문의에 근무 시간 기준 4시간 안에 직접 답한다. 6월에 팀이 보고해요: "계약 성사가 30% 늘었어요." 좋게 들리죠. 확인해 볼까요: 기준값은? 1분기에는 문의 120건 중 9건, 즉 7.5%를 성사시켰어요. 정의는? 해당 코호트 문의 대비 성사 건수, 접수 후 60일 시점에 측정. 비교 기간은? 4–5월 코호트, 7월 말 측정: 130건 중 13건, 즉 10%. 7.5%에서 10%로 개선된 거예요 – 상대적으로는 약 33%, 절대적으로는 2.5%포인트예요.

규칙이 효과가 있었을까요? 수치는 바뀌었어요. 하지만 같은 기간에 가격표도 단순해졌고 새 영업 담당자도 합류했어요. 이런 영향을 분리하는 설계 – 예를 들어 규칙을 적용하지 않은 비교 그룹이나 팀별 시차 도입 – 가 없다면 "응답 시간이 계약 체결을 늘렸다"는 추측이에요. 그럴듯한 추측이지만 증명된 건 아니에요. 솔직한 문장은 이래요: "코호트의 계약 체결률이 7.5%에서 10%로 올랐다. 응답 규칙은 이 기간의 세 가지 변화 중 하나다."

• →조치를 받지 않았고 다른 조건은 비슷한 비교 그룹이 있었다면.
• →조치를 시차를 두고 도입했고, 도입할 때마다 효과가 나타났다면.
• →조치를 철회했더니 효과가 사라졌다면.

그런 설계가 없다면, 변화를 설명하고 경쟁하는 다른 설명들을 함께 밝히세요. 약점을 인정하는 게 아니라, 다음 결정이 믿을 만한 근거 위에 서기 위한 전제 조건이에요.

1. 01진행 중이거나 계획된 조치 하나를 고르세요.
2. 02결과를 보기 전에 기준값, 정의(분자, 분모, 기간, 출처), 비교 기간, 코호트를 적어 두세요.
3. 03같은 기간에 어떤 다른 변화가 있는지 적어 두세요.
4. 04성공했을 때 할 말을 미리 적어 두세요 – 이를 위한 설계가 없다면 "왜냐하면"이라는 말 없이.

• →이 레슨 없이도 기준값을 알고 있었나요? 아니라면 지금까지의 성공 보고는 모두 인상에 불과했어요.
• →절대·상대 변화를 따로 밝혔나요? 상대적으로 33%와 절대적으로 2.5%포인트는 같은 숫자인데 – 전혀 다르게 보여요.
• →가장 강력한 반대 설명은 무엇이고, 가진 데이터로 검증할 수 있나요?

이로써 자기 학습 과정이 끝나요. 가설 하나, 주간 목록 하나, 깔끔한 거래, 계산된 자동화, 측정 설계까지요. 이를 바탕으로 자신만의 벤치마크를 만드는 방법은 "자체 벤치마크 만들기"에서 설명해요.