007. Как ускорить А/Б тестирование с помощью машинного обучения — Нерсес Богиян

Ускорение A/B Тестирования и Повышение Чувствительности Метрик

Введение в A/B Тестирование

A/B тестирование — это метод оценки изменений в сервисе путем случайного разделения аудитории на группы и показа им разных версий сайта или приложения. Цель — выявить причинно-следственную связь между изменениями и целевыми метриками. Приводится пример с хирургической практикой (мытье рук) и реальный кейс с изменением выдачи результатов поиска, которое принесло дополнительно 120 миллионов долларов в год, демонстрируя, как интуиция может ошибаться, а простые изменения (перекраска кнопки) могут быть более эффективными. A/B тестирование является единственным научным способом оценки идей и установления причинно-следственных связей.

Зачем Ускорять A/B Тесты?

Ускорение A/B тестов критически важно для минимизации финансовых потерь. "Regret" (сожаление) — это метрика, отражающая разницу между текущей версией и оптимальной, выраженная в потерянных деньгах. Чем быстрее проводятся тесты и внедряются улучшения, тем меньше денег теряется. Ускорение позволяет проверять больше гипотез и терять меньше денег.

Методы Ускорения A/B Тестов

1. Увеличение размера групп: Позволяет проводить меньше тестов одновременно, но требует больше ресурсов.
2. Умные статистические методы:
   • Перевзвешивание (Re-weighting): Техники с доказанной эффективностью.
   • Машинное обучение: Ускоряет тесты, но может не иметь прямых доказательств эффективности.

Уменьшение Дисперсии Метрик

1. CUPED (Controlled-experiment Procedure for Efficient Data Exploration):

• Линейная регрессия на одном признаке — значении метрики до эксперимента.
• Предполагает линейное изменение метрики во время эксперимента.
• Уменьшает дисперсию пропорционально квадрату корреляции.

2. Многомерная Линейная Регрессия (Upgrade to CUPED):

• Использует несколько признаков (количество действий, ценность, время жизни пользователя, факт зарплаты и т.д.) для предсказания возвращения пользователя.
• Повышает корреляцию между предсказанием и реальным значением метрики, сильнее уменьшая дисперсию.
• Важно: При выборе модели и признаков следует использовать CUPED как базовый уровень для сравнения и начинать с простых моделей.

Агрегирование Метрик с Помощью Машинного Обучения

Проблема: Большое количество метрик, сложность их интерпретации и множественное тестирование. Решение: Создание новой метрики как линейной комбинации существующих метрик или признаков.

Процесс:

1. Сбор выборки тестов с историей побед и поражений.
2. Решение задачи оптимизации для получения весов линейной комбинации.
3. Ключевой момент: Использование "score" (например, A/B score), который учитывает дисперсию и среднее значение метрики, для максимизации чувствительности.
4. Результат: Уменьшение необходимого объема данных для получения статистически значимого результата (до 11 раз).
5. Недостаток: Потеря интерпретируемости — новая метрика является абстрактным числом, а не конкретной бизнес-метрикой (деньги, конверсия).

Ускорение с Сохранением Интерпретируемости: Прогнозирование Будущего

Методология:

1. Накопление данных во время начального этапа эксперимента.
2. Прогнозирование целевой метрики на каждый день вперед, начиная с текущего момента.
3. Сравнение временных рядов предсказанных метрик для контрольной и экспериментальной групп.
4. Определение момента статистической значимости улучшения.

Преимущества:

• Сохранение интерпретируемости для бизнеса.
• Практика показывает, что вероятность ложных срабатываний (ошибки первого рода) не увеличивается.

Недостатки:

• Отсутствие математических гарантий сохранения уровня значимости (вероятности ошибки первого и второго рода).
• Жертва в силе ускорения (насколько сильно улучшается метрика).

Заключение и Рекомендации

• Ускорение A/B тестирования обязательно: Экономит деньги, которые можно считать заработанными.
• Машинное обучение активно применяется: Несмотря на недостаток публичной информации, оно уже используется в течение 5 лет.
• Делитесь знаниями: Увеличивает конкуренцию и способствует общему росту.
• Комбинируйте методы: Нет единого идеального инструмента. Используйте CUPED как базу, пробуйте более продвинутые методы, применяйте линеаризацию или перевзвешивание метрик перед использованием ML-алгоритмов.
• Экспериментируйте: Тестируйте гипотезы на пользователях, чтобы достичь лучшей версии сервиса.
• Избегайте опросов коллег или небольшого числа пользователей: A/B тесты являются более надежным методом.

Ключевые Концепции

• A/B тестирование: Метод сравнения двух версий для определения лучшей.
• Метрики: Показатели, используемые для оценки эффективности.
• Regret: Финансовые потери из-за использования неоптимальной версии.
• CUPED: Метод уменьшения дисперсии метрик с помощью линейной регрессии.
• Линейная комбинация метрик: Создание новой метрики путем взвешенного суммирования существующих.
• Score: Метрика, используемая для оценки чувствительности A/B теста.
• Интерпретируемость: Способность понимать, за что отвечает метрика.
• Статистическая значимость: Вероятность того, что наблюдаемый эффект не является случайным.
• Ошибка первого рода (False Positive): Ошибочное заключение о наличии эффекта, когда его нет.
• Ошибка второго рода (False Negative): Ошибочное заключение об отсутствии эффекта, когда он есть.