
Продажи после акции могут вырасти без её полезного эффекта: одновременно меняются сезон, ассортимент, цены и состав покупателей. Простое «после минус до» описывает изменение, но не показывает, что было бы без акции. Для причинного решения нужен обоснованный контрфактический сценарий, желательно случайно назначенный контроль, и полный горизонт последствий.
Какие изменения ошибочно приписывают акции
Выпишите всё, что отличалось между периодами: число рабочих дней, зарплатные даты, наличие товара, трафик, цены, новые магазины, крупные клиенты и действия конкурентов. Акцию часто запускают после плохой недели; затем продажи возвращаются к обычному уровню даже без вмешательства. Это возвращение к среднему, а не обязательно заслуга нового предложения.
Итоговая выручка также меняется из-за состава корзины и аудитории. Если после акции пришло больше крупных покупателей, средний чек вырастет без улучшения поведения типичного клиента. Если товар закончился, падение продаж не докажет отсутствие спроса. Разложите наблюдаемое изменение на количество покупателей, частоту, объём и фактическую цену, но не считайте такое разложение доказательством причин.
Выберите более сильное сравнение
Лучший доступный вариант — заранее случайно назначить подходящих покупателей, магазины или регионы в акцию и обычный режим. Единица зависит от того, как распространяется предложение. Публичная скидка в магазине не позволяет чисто разделить двух посетителей, а персональное предложение компании может требовать назначения всей организации. NIST связывает выбор плана с целью и факторами эксперимента.
Если рандомизация уже невозможна, сравнивайте изменения с обоснованной контрольной группой и называйте оценку квазиэкспериментальной. Контроль должен отражать общие шоки и не получать воздействие акции. Просто выбрать регион с похожей выручкой недостаточно: важны динамика, сезонность, ассортимент и внешние события. Проверка исторических трендов полезна, но не гарантирует их параллельность после старта.
Условный пример разности изменений
Предположим, продажи тестовой группы выросли со 100 до 130 единиц, а сопоставимого контроля — со 100 до 120. Сырое изменение теста равно 30, разность изменений — 10. Это учебная арифметика, а не оценка реальной акции. При неслучайном контроле число 10 имеет причинный смысл только при обоснованных предпосылках, включая отсутствие различных шоков и перетоков.
| Расчёт | Условный результат | Что он показывает |
|---|---|---|
| Тест после минус до | 30 единиц | Полное наблюдаемое изменение |
| Контроль после минус до | 20 единиц | Изменение в выбранном сравнении |
| Разность изменений | 10 единиц | Кандидат на эффект при выполнении предпосылок |
Если контрольный магазин одновременно потерял подъезд из-за ремонта, разность изменений завысит эффект акции. Если покупатели перешли туда за покупкой товара вне акции, направление смещения может быть другим. Поэтому арифметика не освобождает от проверки механизма. При разных масштабах групп требуется заранее выбранная модель или нормирование, а не удобный коэффициент после результата.
Приведите данные к сопоставимым правилам
- Сверьте календарь, часовой пояс, рабочие дни и сроки признания заказа.
- Учитывайте отмены и возвраты в согласованном окне; не сравнивайте зрелые продажи с ещё не завершёнными.
- Разделите количество, выручку после скидок и маржинальный доход.
- Проверьте наличие и ассортимент, не исключая постфактум товары только за плохой результат.
- Сохраните общий результат компании, чтобы не потерять переток между каналами и товарами.
Сравнение одинаковых недель прошлого года — полезная диагностика сезонности, но не универсальный контроль. За год могли измениться рынок, ассортимент и база клиентов. Аналогично прогноз временного ряда зависит от стабильности процесса. Если модель не умеет воспроизводить исторические периоды без акции, её точность во время акции нельзя принимать на веру.
Покажите пределы оценки
В отчёте нужны интервал неопределённости и чувствительность к разумным вариантам модели, а не только красивая линия. При географическом дизайне независимыми единицами являются территории, не каждый чек; описание географического Conversion Lift Google иллюстрирует территориальный контроль. Малое число независимых единиц ограничивает точность даже при большом объёме продаж.
Отдельно проверьте перенос покупок из будущего и снижение маржи из-за скидки. Положительный эффект на количество не означает положительный эффект на прибыль. Если доступен только один ряд «до/после» без хорошего сравнения, честный вывод — наблюдаемое изменение с перечислением альтернативных объяснений. Нельзя превращать точность учётной суммы в уверенность о причине её изменения.
Как составить журнал альтернативных объяснений
До расчёта соберите временную линию цен, наличия, рекламных расходов, рабочих дней и крупных внешних событий. Записывайте источник каждого события и территорию действия. Отсутствие записи не означает отсутствие шока: уточните информацию у продаж, логистики и поддержки. Такой журнал помогает отделить известные нарушения от неизвестных причин, но не превращает наблюдательный анализ в рандомизированный.
Для каждой версии укажите наблюдаемый признак. Если рост связан с наличием, он должен соотноситься с восстановлением запасов; если с календарём, сравнение подходящих дней может изменить оценку. Эти проверки не доказывают версию в одиночку, зато ограничивают уверенные заявления. Не добавляйте в модель переменные, которые сами стали следствием акции, без понимания цели: например, фактический трафик может быть посредником воздействия, а его механическое выравнивание удалит часть искомого эффекта. Сохраните основную спецификацию и отдельные проверки чувствительности. Руководитель должен видеть, какая часть вывода устойчива к разумным предпосылкам, а какая существует только при одном удобном способе расчёта.
Что делать с уже проведённой акцией
Восстановите даты и внешние события, соберите доступную историю, зафиксируйте варианты сравнения до выбора модели и отделите описание от причинной оценки. Не подбирайте из десятков контрольных групп только ту, которая показывает максимальный эффект. Поисковый анализ может помочь спроектировать следующую проверку, но должен оставаться поисковым в отчёте.
Принимайте временное решение с учётом стоимости ошибки: небольшой обратимый повтор отличается от масштабного расхода. Следующую акцию планируйте вместе с контролем, метрикой, полезным порогом и окном последствий. Работа завершена, когда руководитель видит не только изменение продаж, но и то, какие объяснения удалось исключить, какие остаются и какой следующий тест уменьшит неопределённость.


