A/B тестирование
Материал из Поле цифровой дидактики
| Описание | A/B тестирование (также известное как сплит-тестирование или bucket testing) — это метод статистического сравнения двух или более вариантов (A и B), основанный на случайном распределении участников эксперимента по группам для определения того, какой вариант показывает лучшие результаты по выбранной метрике. Метод использует принципы проверки статистических гипотез (hypothesis testing) или двухвыборочной проверки гипотез, применяемой в статистике. |
|---|---|
| Область знаний | Статистика, Моделирование |
| Авторы | |
| Поясняющее видео | |
| Близкие понятия | |
| Среды и средства для освоения понятия |
В образовательной сфере A/B тестирование активно применяется для оптимизации онлайн-обучения. Например, платформа Coursera использовала данный метод для совершенствования дизайна курсов, что привело к увеличению вовлечённости студентов на 25%.
- Нулевая гипотеза (H₀): Между вариантами A и B нет статистически значимого различия. Конверсии обоих вариантов равны. [math]\displaystyle{ H_0: p_A = p_B }[/math]
- Альтернативная гипотеза (H₁): Между вариантами A и B существует статистически значимое различие. [math]\displaystyle{ H_1: p_A \neq p_B }[/math]
Ключевые статистические параметры
- Уровень значимости (α) — вероятность ошибки первого рода (ложноположительный результат), обычно устанавливается на уровне 0.05.
- Мощность теста (1-β) — вероятность корректного отклонения нулевой гипотезы при её ложности, рекомендуемое значение — 0.80 (80%).
- p-value — вероятность получить наблюдаемый или более экстремальный результат при условии истинности нулевой гипотезы.
Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.
Формулы для расчёта
Z тест
[math]\displaystyle{ z = \frac{(\hat{p}_B - \hat{p}_A)}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_A} + \frac{1}{n_B})}} }[/math]
Критерий хи-квадрат
Для анализа таблиц сопряжённости применяется критерий хи-квадрат:
[math]\displaystyle{ \chi^2 = \sum \frac{(O - E)^2}{E} }[/math] где:
- O — наблюдаемые частоты
- E — ожидаемые частоты
| Description | |
|---|---|
| Хи-квадрат | Хи-квадрат (χ²) — Chi-Squared статистический критерий для проверки гипотез о соответствии наблюдаемого распределения теоретическому или о независимости категориальных переменных. Используется в социо-экономических исследованиях для анализа частотных данных и взаимосвязей между дискретными характеристиками агентов. |
A/B тестирование частный случай более общего класса вычислительных экспериментов с вариативными параметрами - BehaviorSpace
