A/B-тест: как понять, сработало изменение или нет

Когда в продукте появляется новая идея, очень хочется сразу её внедрить: изменить платёжную воронку, обновить рекомендации, поменять кнопку или упростить регистрацию.

Но логичного объяснения недостаточно. Пользователи могут вести себя не так, как мы ожидаем, а изменение — не улучшить метрику или даже ухудшить результат.

“A/B-тест помогает проверить изменение на данных и понять: новая версия действительно работает лучше или разница могла появиться случайно.”

A/B-тест — это эксперимент, в котором пользователей случайно делят на две или несколько групп.

Сравнивать можно разные продуктовые метрики:

• конверсия в покупку
• средний чек
• количество заказов
• выручка
• удержание
• длительность сессии
• клики по кнопке
• вовлечённость

A/B-тест нужен, чтобы не принимать продуктовые решения только на основе мнений.

Но пользователи могут отреагировать иначе. Эксперимент позволяет проверить предположение до полного внедрения.

“Главный вопрос A/B-теста: есть ли достаточно данных, чтобы считать новую версию лучше старой?”

A/B-тест начинается не с кода и не с графика. Он начинается с гипотезы.

• какое изменение тестируем
• какую метрику хотим улучшить
• почему изменение может повлиять на эту метрику

Целевая метрика — главный показатель, по которому мы решаем, сработало изменение или нет.

• для интернет-магазина — конверсия в покупку
• для мобильного приложения — вовлечённость или длительность сессии
• для подписочного сервиса — конверсия в подписку
• для рекламного продукта — CTR или доход
• для маркетплейса — количество заказов

“Важно выбрать одну главную метрику заранее. Иначе легко найти случайный рост среди десятков показателей и сделать ложный вывод.”

Пользователи делятся случайным образом: группы должны быть похожи друг на друга.

• сколько пользователей в каждой группе
• нет ли пересечений пользователей между группами
• похожи ли группы по базовым характеристикам
• одинаковый ли период наблюдения
• корректно ли пользователи попали в тест

Одна из частых ошибок — запускать тест на слишком маленькой аудитории. Размер выборки зависит от:

• текущего значения метрики
• ожидаемого эффекта
• уровня значимости
• мощности теста
• допустимой ошибки

“Чем меньше эффект мы хотим заметить, тем больше пользователей нужно для теста.”

Не стоит смотреть результат каждый день и останавливать эксперимент, как только метрика стала красивой.

• сколько времени будет идти эксперимент
• сколько пользователей нужно собрать
• когда будет проводиться финальный анализ
• какие метрики будут оцениваться

На первый взгляд группа B лучше. Но нужно понять, статистически значима эта разница или могла появиться случайно.

Статистический тест оценивает, насколько вероятно получить такую разницу случайно.

Для конверсии часто используют z-тест долей. Для средних значений — t-test или непараметрические тесты.

p-value показывает, насколько вероятно получить наблюдаемую или более сильную разницу, если на самом деле различий между группами нет.

p-value < 0.05

p-value >= 0.05

В первом случае результат считают статистически значимым. Во втором — оснований говорить, что изменение сработало, недостаточно.

“p-value ≥ 0.05 не значит, что эффекта точно нет. Это значит, что по имеющимся данным мы не смогли доказать значимый эффект.”

Даже значимый результат нужно оценить с точки зрения бизнеса.

• насколько большой эффект
• как он влияет на деньги
• не ухудшились ли другие метрики
• сколько стоит внедрение
• есть ли риски для пользователей
• не ухудшился ли пользовательский опыт

• конверсия выросла, но средний чек снизился
• пользователи стали чаще кликать, но реже покупать
• выручка выросла, но выросли и возвраты
• время в приложении выросло, но пользователи реже доходят до целевого действия

• тест был проведён корректно
• группы были сопоставимы
• пользователи не пересекались между группами
• выборка была достаточной
• целевая метрика улучшилась
• результат статистически значим
• эффект имеет бизнес-смысл
• не ухудшились важные дополнительные метрики

A/B-тест — способ принимать продуктовые решения на основе данных, а не интуиции. Но тест не даёт ответа автоматически: важно корректно сформулировать гипотезу, выбрать метрику, проверить группы и собрать достаточно данных.

Для меня хороший анализ — это не просто фраза «p-value меньше 0.05». Он отвечает на бизнес-вопрос: «Стоит ли внедрять изменение и почему?»