На главную
Калькуляторы
Значимость A/B-теста
Считает, различаются ли два варианта на самом деле или разница ещё укладывается в случайность.
Данные вариантов
Вариант A — контроль
Вариант B — проверяемый
Односторонняя гипотеза выбирается до теста, а не после.
Итог
Вариант B выигрывает: p = 0,0056, это меньше порога 0,05.
Вариант A5 %
Доверительный интервал: 4,42 % — 5,65 %
Вариант B6,3 %
Доверительный интервал: 5,65 % — 7,03 %
Прирост
+26,1 %
В абсолютных: 1,3 п. п.
p-value
0,0056
z = 2,77
Интервал разницы
0,38 … 2,23 п. п.
Ноль не входит — направление ясно
Мощность
79 %
Меньше 80 % — выборка мала
Как читать
- p-value — вероятность увидеть такую разницу, если варианты на самом деле одинаковы. Меньше 5 % — разницу считают неслучайной.
- Интервал разницы важнее самого факта значимости: если он захватывает ноль, выигрыш ещё не доказан, каким бы красивым ни выглядел прирост.
- Мощность ниже 80 % означает, что тест мелковат: даже реальная разница такого размера ускользнула бы от него чаще, чем в одном случае из пяти.
- Подглядывать в тест каждый день и останавливать его на первом «зелёном» нельзя — это ломает уровень значимости.