
Параллельные эксперименты не обязательно портят друг друга. Риск возникает, когда назначения зависимы, воздействия технически конфликтуют или эффект одного изменения зависит от другого. Нужны карта пересечений, стабильные назначения и заранее выбранный способ учитывать взаимодействие. Запретить все одновременные тесты — не единственный и не всегда лучший вариант.
Найдите реальные точки пересечения
Составьте локальную карту активных воздействий: аудитория, единица назначения, каналы, даты, страницы, цены и целевые события. Особое внимание — изменениям одного обещания, общей корзины, условий скидки и доступности продукта. Два теста в разных каналах могут встречаться в одной покупке. И наоборот, два технически близких блока могут не влиять на один бизнес-механизм.
Разделите три проблемы: конфликт реализации, перенос воздействия между людьми и статистическое взаимодействие. Если два скрипта одновременно переписывают цену, это прежде всего техническая ошибка, которую нельзя исправить моделью. Если коллеги пересылают условия, нужна кластерная единица назначения. Если подарок полезен только без скидки, это содержательное взаимодействие, которое можно изучать экспериментально.
Сделайте назначения независимыми либо явно исключающими
При независимых тестах случайное назначение в первый не должно определять вариант второго. Стабильно храните оба назначения на уровне одной и той же подходящей единицы. Если пересечение недопустимо, используйте заранее описанный слой взаимного исключения. Нельзя сначала исключать посетителей по реакции на первый тест, а затем считать второй тест случайным для всей исходной аудитории.
В статье Microsoft Research о взаимодействии A/B-тестов подчёркивается зависимость выводов от продукта и конкретных проверок. Чужое наблюдение редкости взаимодействий не доказывает их отсутствие у вас. Отслеживайте собственные пересечения, особенно когда несколько тестов меняют цену, частоту контакта или нагрузку на одну команду обслуживания.
Когда нужен факторный план
Если два изменения можно независимо включить и выключить, полный план два на два даёт четыре комбинации: ни одного, только первое, только второе, оба. Он позволяет оценить средние эффекты и взаимодействие на выбранной шкале. Выбор плана зависит от цели и факторов; NIST перечисляет соответствующие экспериментальные дизайны. На взаимодействие часто нужна отдельная мощность (вероятность обнаружить заданный эффект, если он существует), а не только объём для основных эффектов.
- Укажите, на какой шкале проверяется взаимодействие: абсолютная разница маржи и отношение конверсий могут давать разные интерпретации.
- Заранее задайте интересующие комбинации и правило множественных проверок.
- Проверьте достаточный объём каждой ячейки и зрелость окна результата.
- Сохраняйте единицу назначения при расчёте интервалов, особенно для компаний и регионов.
Условный пример: подарок и скидка
Пусть средняя маржа на клиента в четырёх случайных группах составила 100 рублей без изменений, 110 только с подарком, 105 только со скидкой и 108 с обоими. При аддитивной модели, где отдельные эффекты складываются, ожидалось бы 115. Контраст взаимодействия равен 108 − 110 − 105 + 100 = −7 рублей. Это учебная оценка по вымышленным данным, не доказанное взаимодействие без интервала и проверки дизайна.
| Подарок | Скидка | Условная маржа на клиента |
|---|---|---|
| Нет | Нет | 100 рублей |
| Да | Нет | 110 рублей |
| Нет | Да | 105 рублей |
| Да | Да | 108 рублей |
Нельзя доказать взаимодействие тем, что один эффект значим, а другой нет: различие значимостей не равно значимости различия. Нужен прямой контраст и его неопределённость. Аналогично отсутствие значимости взаимодействия при маленьких ячейках не доказывает независимость. Сопоставляйте интервал контраста с практически важной величиной.
Контролируйте общий ресурс и аудиторию
Даже при независимом назначении акции могут конкурировать за ограниченный склад, операторов или рекламный аукцион. Воздействие тогда выходит за границы назначенных клиентов: рост нагрузки ухудшает обслуживание контроля. Рассмотрите назначение по времени или кластерам с учётом переносов, либо уменьшите одновременную нагрузку. Такой дизайн требует отдельного обоснования, а не простого сравнения дней недели.
Сохраняйте журнал фактических контактов, но основной анализ ведите по назначению. Не удаляйте после запуска всех, кто встретил другую кампанию: это может быть следствием самого варианта. Если пересечение обнаружено неожиданно, оцените масштаб, направление риска и пригодность ответа. Новое подтверждение на чистом дизайне лучше, чем уверенный вывод после произвольной фильтрации.
Что сохранять в локальном журнале пересечений
Для каждого теста достаточно версии, владельца, единицы назначения, допустимой аудитории, активных дат, изменяемого механизма и запретов сочетаний. Это описание рабочего процесса, а не требование менять общую инфраструктуру проекта. Сохраните также ожидаемую комбинацию условий при будущем полном запуске: именно к ней должен относиться конечный вывод.
Перед началом проверьте назначения на искусственных идентификаторах и подсчитайте размеры четырёх комбинаций, если используется план два на два. Ошибка одного общего случайного ключа может сделать два назначения полностью связанными. После запуска следите за фактическими пересечениями, но не оптимизируйте их по текущему результату. Если другой тест неожиданно завершён, смесь фоновых условий меняется; отметьте дату и оцените применимость исходного вопроса. Не складывайте проценты выигрыша разных экспериментов как гарантированный общий рост. Даже без взаимодействия относительные эффекты имеют определённую шкалу и базу, а совместный экономический результат может зависеть от нагрузки и ограниченного спроса. Для важной комбинации разумна отдельная подтверждающая проверка.
Примите решение о совместном запуске
Отчёт должен отвечать на два разных вопроса: полезно ли изменение в текущей смеси других воздействий и полезна ли конкретная комбинация для будущего запуска. Средний эффект по смеси не обязательно переносится на запуск, где другая акция будет всегда включена. Укажите распределение фоновых воздействий и ограничения переноса результата.
Готовая организация параллельных тестов включает карту пересечений, стабильные назначения, правила технического конфликта, общие защитные показатели и ответственного за суммарную нагрузку. Следующее действие — выбрать два теста с вероятным общим механизмом и заранее решить: независимый запуск с измерением пересечения, факторная проверка комбинаций или взаимное исключение. Решение принимают до просмотра победителей, а не для объяснения неудобного итога.


