
Нельзя останавливать обычный фиксированный A/B-тест только потому, что раннее p-value (вероятность при нулевом эффекте и допущениях модели получить столь же или более экстремальные данные; это не вероятность истинности гипотезы) стало меньше выбранного порога. Повторный просмотр с возможностью остановки меняет свойства процедуры и увеличивает риск ложной победы. Для досрочного решения нужны заранее выбранные последовательные правила; для защиты клиентов — отдельные правила остановки по вреду.
Почему раннее пересечение порога не завершает тест
Результат случайно колеблется, особенно при небольшом числе исходов. Если каждый день проверять обычный тест и закончить в первый удачный день, выбирается благоприятная флуктуация. Уровень ошибки, рассчитанный для одного окончательного анализа, уже не описывает эту стратегию. Дополнительно ранняя оценка победителя часто завышена, потому что именно необычно большой эффект позволил пересечь порог первым.
Само наблюдение графика не запрещено. Опасно сочетание многократного просмотра с незапланированным решением о победе. Microsoft Research обсуждает мониторинг во время эксперимента и необходимость осторожности с ранними результатами. Техническая диагностика и решение о внедрении имеют разные задачи: можно искать потерю событий ежедневно, не объявляя успех каждый раз, когда показатель стал зелёным.
Что должно завершиться в фиксированном дизайне
- Набран заранее рассчитанный объём независимых единиц или выполнено зафиксированное правило набора.
- Пройден минимальный календарный период, отражающий рабочий цикл и заранее учтённую сезонность.
- У всех включённых участников закончилось полное окно результата.
- Поступили задержанные события и необходимые данные о возвратах.
- Проверены назначение, качество данных и отсутствие критических нарушений.
Нельзя продолжать тест только потому, что запланированный анализ не дал желаемого результата, и остановить после ближайшей удачи. Это та же незапланированная последовательная стратегия. Если после честного завершения нужен новый тест, оформите новую гипотезу и протокол, не стирая исходный неопределённый или отрицательный результат.
Когда ранняя остановка допустима
Последовательные методы могут контролировать ошибку при промежуточных анализах, если процедура выбрана и реализована корректно. Это могут быть групповые последовательные проверки с распределением допустимой ошибки по просмотрам или методы с гарантией при непрерывном мониторинге в оговорённых условиях. Название «последовательный» на дашборде недостаточно: выясните, какую метрику, единицу и правило решения поддерживает инструмент.
Байесовский подход также требует дизайна: модели, априорных допущений, функции потерь и правила остановки. Он не является универсальным разрешением смотреть любые срезы и остановиться когда угодно без последствий для выбранного решения. Последовательный метод не устраняет задержки продаж, изменения состава аудитории, множественные показатели и ошибки сбора данных. Эти ограничения планируют отдельно.
Условный пример: удачный второй день
Пусть тест предложения рассчитан на четыре недели набора и дополнительное окно покупок. На второй день обычный фиксированный анализ показал p-value ниже порога, а на пятый направление изменилось. У команды нет права объявлять победителем версию второго дня. Четыре недели в примере не универсальная норма: реальная длительность определяется мощностью (вероятность обнаружить заданный эффект, если он существует), циклом и окном результата.
| Ситуация | Корректное действие | Как назвать исход |
|---|---|---|
| Ранняя удача обычного теста | Продолжить по плану | Промежуточный сигнал |
| Заранее заданная последовательная граница | Применить предусмотренное правило | Результат последовательной процедуры |
| Рост критических ошибок | Остановить воздействие по безопасности | Аварийная остановка, не победа |
| Нарушено назначение | Разобрать причину | Данные могут быть непригодны |
Если группа варианта ошибочно не получала оплаты из платёжной системы, продление не вылечит испорченные первые дни автоматически. Нужен анализ причины, периода и применимости данных. Решение о перезапуске фиксируют открыто. Нельзя молча отбросить плохое начало и оставить только благоприятный интервал.
Отделите безопасность от доказательства выигрыша
Критические ошибки оплаты, раскрытие данных, массовая недоступность или иной серьёзный вред могут потребовать немедленного прекращения независимо от статистического плана выигрыша. Заранее назначьте владельца и аварийные пороги. Если остановка произошла по вреду, отчёт описывает именно это, а не делает симметричный вывод о положительном эффекте на других метриках.
Для менее критичных защитных метрик также нужны согласованные правила, иначе любое случайное движение будет поводом вмешиваться. Сохраните точку остановки, фактическое воздействие и незрелые результаты. NIST объясняет смысл доверительных интервалов для оговорённых процедур; обычный интервал после произвольно выбранной остановки не получает автоматически заявленное покрытие.
Как поступать с задержанными исходами
После окончания набора новые участники ещё могут покупать, возвращать товар или завершать согласование. Закрытие рекламной кампании не означает зрелость основного результата. Сохраните одинаковое окно для каждого участника и дату, после которой данные считаются достаточно полными. Если события приходят пакетно, предусмотрите задержку поступления отдельно от времени самой покупки.
Не сравнивайте старых участников контроля с недавно набранными участниками варианта только потому, что текущая таблица уже доступна. Проверьте календарь набора и возраст наблюдений. Если бизнес требует решения раньше, чем созревает главный результат, можно принять ограниченное операционное решение с явной неопределённостью, но нельзя назвать незавершённый тест доказательством победы. Последовательная процедура также должна учитывать задержки и выбранный момент включения данных. При продлении из-за технической недоступности аналитики сохраните изначальный срок воздействия и объясните, что меняется: получение данных или сам эксперимент. Эти действия различны и по риску, и по интерпретации; их нельзя объединять формулировкой «просто подождали ещё неделю».
Составьте расписание анализа заранее
Протокол должен содержать метод, плановые просмотры, границы решения, минимальный календарь, окно последствий и аварийные условия. Укажите, кто видит промежуточные результаты и кто принимает решение. Основную метрику и семейство проверок фиксируют вместе: контроль ранней остановки одной метрики не покрывает выбор лучшей среди десятков метрик и сегментов.
Готовность к завершению определяется протоколом и качеством данных, а не усталостью команды или красивым графиком. В отчёте покажите фактическую длительность, причину остановки и зрелость каждого результата. Следующее действие — проверить текущий инструмент: если он выдаёт обычный фиксированный p-value, используйте его для окончательного анализа по плану, а не как ежедневную кнопку выбора победителя.


