О проекте
В проекте проанализированы данные крупного интернет-магазина, работающего преимущественно в Азии. Гипотеза теста: новая платёжная воронка увеличит конверсию пользователей в покупку.
Все проекты
Кейс · A/B-тестирование
A/B-тест новой платёжной воронки
Анализ крупного интернет-магазина
Проверка A/B-теста новой платёжной воронки: анализ конверсии, покупок, выручки и статистической значимости результата.
PythonPandasMatplotlibSciPyA/B-тестированиеАналитика электронной коммерции
Обзор
О проекте
Бизнес-задача
Проверить качество данных и распределение по группам, сравнить конверсию, покупки и выручку A/B-групп, провести статистическую проверку и решить, стоит ли внедрять новую воронку.
Данные
Данные
131 486 строк
new_users_test_2025.csv
Новые пользователи, зарегистрированные с 1 по 14 июня 2025 года
Скачать CSV491 443 строк
sessions_test_2025.csv
Сессии новых пользователей с 1 по 21 июня 2025 года
Скачать CSV149 152 строк
purchases_test_2025.csv
Покупки новых пользователей с 1 по 21 июня 2025 года
Скачать CSV3 291 строк
participants_test_2025.csv
Участники и группы A/B-теста
Скачать CSVКлючевые метрики
Ключевые цифры
131 486
новых пользователей
491 443
пользовательские сессии
149 152
покупки
3 291
участник A/B-тестов
1 598
пользователей в группе A
1 468
пользователей в группе B
Подготовка данных
Предобработка данных
Загрузка четырёх датасетов
Проверка пропущенных значений
Проверка явных дубликатов
Преобразование столбцов в формат даты
Проверка количества уникальных пользователей
Фильтрация new_payment_funnel_test_summer_2025
Объединение покупок с участниками теста
Добавление группы A/B-теста к покупкам
Чистые данные
Пропусков и явных дубликатов не обнаружено. Для анализа отобраны только участники нужного A/B-теста, чтобы не смешивать разные эксперименты.
Дизайн эксперимента
Дизайн эксперимента
Группы теста
A
Контрольная группа
Старая платёжная воронка
B
Тестовая группа
Новая платёжная воронка
Основная метрика
конверсия = покупатели / пользователи
Гипотезы
H0
Конверсия в группе B не выше конверсии в группе A.
H1
Конверсия в группе B выше конверсии в группе A.
Анализ
Анализ результатов
01
Конверсия в покупку
| Группа | Пользователи | Покупатели | Конверсия |
|---|---|---|---|
| A | 1 598 | 472 | 29.54% |
| B | 1 468 | 270 | 18.39% |
Вывод
Конверсия группы A заметно выше. Новая платёжная воронка предварительно не показала улучшения целевой метрики.
02
Динамика покупок
Группа A почти на всём периоде показывала больше покупок, чем группа B.
03
Кумулятивная динамика
Покупки в группе A накапливались быстрее. К концу периода контрольная группа заметно опережала тестовую.
04
Выручка и средний чек
| Группа | Покупки | Покупатели | Выручка | Ср. чек |
|---|---|---|---|---|
| A | 1 665 | 472 | 43 073.35 | 25.87 |
| B | 901 | 270 | 22 475.99 | 24.95 |
Вывод
Средний чек близкий: основное различие связано с количеством покупателей и конверсией.
Статистическая проверка
Проверка гипотезы
Применён z-тест для сравнения двух долей, поскольку основная метрика эксперимента — конверсия в покупку.
Вывод
Нет оснований считать, что конверсия группы B выше группы A. Новая воронка не подтвердила гипотезу об увеличении конверсии.
Z-статистика
−7.197
p-значение
0.9999
Уровень значимости
0.05
Результат
H0 не отвергается
Визуализации
Визуализации
Результаты01 02 03 04 05 06
Основные выводы
Новая платёжная воронка не увеличила конверсию пользователей в покупку.
Конверсия в группе A составила 29.54%, а в группе B — 18.39%.
Кумулятивная динамика покупок показала преимущество контрольной группы A.
Выручка группы A составила 43 073.35, а группы B — 22 475.99.
Средний чек в группах близкий: результат группы B ниже из-за меньшего количества покупателей.
Статистическая проверка не подтвердила гипотезу о росте конверсии в группе B.
Бизнес-рекомендации
Рекомендации для бизнеса
Не внедрять новую платёжную воронку в текущем виде.
Проверить технические ошибки, оплату, скорость загрузки и пользовательский интерфейс.
Изучить этап, на котором пользователи чаще прекращают путь к покупке.
Дополнительно проанализировать результаты по устройствам и регионам.
Проверить корректность сбора данных перед повторным тестом.
Повторить A/B-тест только после доработки новой платёжной воронки.
Навыки
Что демонстрирует проект
Анализ A/B-тестаРабота с несколькими датасетамиПредобработка данныхПроверка качества данныхРасчёт конверсииАнализ покупок и выручкиКумулятивная динамикаСтатистические гипотезыZ-тест для двух долейБизнес-рекомендации
Анализ интернет-магазина