Урок 5: Измерить эффект.

Исходное значение

Значение показателя до меры — измеренное, а не вспомненное. Без исходного значения нет сравнения, есть только впечатление.

Определение

Числитель, знаменатель, период, источник. Если определение меняется между «до» и «после», вы измеряете определение, а не меру.

Период сравнения

Одинаковой длины, сопоставимый сезон, завершённый. Квартал против двух недель — не сравнение.

Когорта

Операции, начавшиеся в определённый период и отслеживаемые до контрольной даты. Только так вы сравниваете пути, а не моментальные снимки.

«Мы напомнили о 40 предложениях» — это деятельность. «Из 40 предложений, по которым мы напомнили, по 12 решение принято в течение 14 дней» — это результат. Деятельность легко измерить, и она приятна. Результаты — это то, что делает клиент. Измеряйте и то и другое, но не путайте — и пусть об успехе меры судит только результат.

В апреле компания-разработчик ПО вводит правило: каждый запрос получает личный ответ в течение четырёх рабочих часов. В июне команда сообщает: «Число сделок выросло на 30 %». Звучит хорошо. Проверка: исходное значение? В первом квартале из 120 запросов было выиграно 9, то есть 7,5 %. Определение? Сделки относительно запросов когорты, измеренные через 60 дней после поступления. Период сравнения? Когорта апреля–мая, измеренная в конце июля: 13 из 130, то есть 10 %. Это улучшение с 7,5 до 10 % — около 33 % в относительном выражении, но 2,5 процентного пункта в абсолютном.

Сработало ли правило? Цифра изменилась. Но в тот же период упростили прайс-лист и начал работу новый менеджер по продажам. Без дизайна, который разделяет эти влияния, — например, контрольной группы, где правило не действовало, или запуска со сдвигом по времени для каждой команды, — фраза «время реакции увеличило число сделок» остаётся предположением. Правдоподобным, но не подтверждённым. Честная формулировка: «Доля сделок в когорте выросла с 7,5 % до 10 %; правило о реакции — одно из трёх изменений за этот период».

• →Если была контрольная группа, которая не получила меру и в остальном была сопоставима.
• →Если мера вводилась со сдвигом по времени и эффект каждый раз появлялся вместе с её введением.
• →Если вы отменили меру и эффект исчез.

Если такого дизайна нет, вы описываете изменение и называете конкурирующие объяснения. Это не признание слабости, а условие того, чтобы следующее решение опиралось на что-то надёжное.

1. 01Выберите меру, которая уже действует или запланирована.
2. 02Запишите исходное значение, определение (числитель, знаменатель, период, источник), период сравнения и когорту — до того, как посмотрите на результат.
3. 03Запишите, какие другие изменения происходят в тот же период.
4. 04Заранее сформулируйте фразу, которую скажете в случае успеха, — без слова «потому что», если у вас нет для этого дизайна.

• →Было бы у вас исходное значение без этого урока? Если нет, каждое прежнее сообщение об успехе было лишь впечатлением.
• →Назвали ли вы абсолютное и относительное изменение по отдельности? 33 % в относительном выражении и 2,5 процентного пункта в абсолютном — одно и то же число, но воспринимаются они совершенно по-разному.
• →Какое конкурирующее объяснение самое сильное — и можете ли вы проверить его на имеющихся данных?

На этом курс завершается: гипотеза, список на неделю, аккуратные сделки, рассчитанная автоматизация и дизайн измерения. Как построить на этой основе собственные бенчмарки, описано в материале «Построить собственные бенчмарки».