A/B тестирование - История изменений

Patarakin в 07:09, 9 января 2026

2026-01-09T07:09:18Z

← Предыдущая версия		Версия от 10:09, 9 января 2026
Строка 1:		Строка 1:
	{{Понятие		{{Понятие
	\|Description=A/B тестирование (также известное как сплит-тестирование или bucket testing) — это метод статистического сравнения двух или более вариантов (A и B), основанный на случайном распределении участников эксперимента по группам для определения того, какой вариант показывает лучшие результаты по выбранной метрике. Метод использует принципы проверки статистических гипотез (hypothesis testing) или двухвыборочной проверки гипотез, применяемой в статистике.		\|Description=A/B тестирование (также известное как сплит-тестирование или bucket testing) — это метод статистического сравнения двух или более вариантов (A и B), основанный на случайном распределении участников эксперимента по группам для определения того, какой вариант показывает лучшие результаты по выбранной метрике. Метод использует принципы проверки статистических гипотез (hypothesis testing) или двухвыборочной проверки гипотез, применяемой в статистике.
	\|Field_of_knowledge=Статистика, Моделирование		\|Field_of_knowledge=Экономика, Статистика, Моделирование
			\|Environment=Bootstrap, StatKey
	}}		}}
	В образовательной сфере A/B тестирование активно применяется для оптимизации онлайн-обучения. Например, платформа Coursera использовала данный метод для совершенствования дизайна курсов, что привело к увеличению вовлечённости студентов на 25%.		В образовательной сфере A/B тестирование активно применяется для оптимизации онлайн-обучения. Например, платформа Coursera использовала данный метод для совершенствования дизайна курсов, что привело к увеличению вовлечённости студентов на 25%.

Patarakin: /* Ключевые статистические параметры */

2025-12-26T16:59:03Z

Ключевые статистические параметры

← Предыдущая версия		Версия от 19:59, 26 декабря 2025
Строка 11:		Строка 11:
	# Уровень значимости (α) — вероятность ошибки первого рода (ложноположительный результат), обычно устанавливается на уровне 0.05.		# Уровень значимости (α) — вероятность ошибки первого рода (ложноположительный результат), обычно устанавливается на уровне 0.05.
	# Мощность теста (1-β) — вероятность корректного отклонения нулевой гипотезы при её ложности, рекомендуемое значение — 0.80 (80%).		# Мощность теста (1-β) — вероятность корректного отклонения нулевой гипотезы при её ложности, рекомендуемое значение — 0.80 (80%).
	# [[P-value]] ~~lu—~~ вероятность получить наблюдаемый или более экстремальный результат при условии истинности нулевой гипотезы.		# [[P-value]] — вероятность получить наблюдаемый или более экстремальный результат при условии истинности нулевой гипотезы.
	# Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.		# Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.

Patarakin: /* Ключевые статистические параметры */

2025-12-17T12:05:14Z

Ключевые статистические параметры

← Предыдущая версия		Версия от 15:05, 17 декабря 2025
Строка 11:		Строка 11:
	# Уровень значимости (α) — вероятность ошибки первого рода (ложноположительный результат), обычно устанавливается на уровне 0.05.		# Уровень значимости (α) — вероятность ошибки первого рода (ложноположительный результат), обычно устанавливается на уровне 0.05.
	# Мощность теста (1-β) — вероятность корректного отклонения нулевой гипотезы при её ложности, рекомендуемое значение — 0.80 (80%).		# Мощность теста (1-β) — вероятность корректного отклонения нулевой гипотезы при её ложности, рекомендуемое значение — 0.80 (80%).
	# [[p-value]] — вероятность получить наблюдаемый или более экстремальный результат при условии истинности нулевой гипотезы.		# [[P-value]] lu— вероятность получить наблюдаемый или более экстремальный результат при условии истинности нулевой гипотезы.
	#		# Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.
	Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.
			{{#ask: [[P-value]] \| ?Description }}

	=== Формулы для расчёта ===		=== Формулы для расчёта ===

Patarakin в 09:49, 6 декабря 2025

2025-12-06T09:49:21Z

← Предыдущая версия		Версия от 12:49, 6 декабря 2025
Строка 29:		Строка 29:
	* E — ожидаемые частоты		* E — ожидаемые частоты
	{{#ask: [[хи-квадрат]] \| ?Description }}		{{#ask: [[хи-квадрат]] \| ?Description }}

			[[A/B тестирование]] частный случай более общего класса вычислительных экспериментов с вариативными параметрами - [[BehaviorSpace]]

Patarakin: /* Критерий хи-квадрат */

2025-12-06T08:24:45Z

Критерий хи-квадрат

← Предыдущая версия		Версия от 11:24, 6 декабря 2025
Строка 28:		Строка 28:
	* O — наблюдаемые частоты		* O — наблюдаемые частоты
	* E — ожидаемые частоты		* E — ожидаемые частоты

	~~<math>\chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i}</math>~~


	{{#ask: [[хи-квадрат]] \| ?Description }}		{{#ask: [[хи-квадрат]] \| ?Description }}

Patarakin: /* Критерий хи-квадрат */

2025-12-06T08:22:52Z

Критерий хи-квадрат

← Предыдущая версия		Версия от 11:22, 6 декабря 2025
Строка 28:		Строка 28:
	* O — наблюдаемые частоты		* O — наблюдаемые частоты
	* E — ожидаемые частоты		* E — ожидаемые частоты

			<math>\chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i}</math>


	{{#ask: [[хи-квадрат]] \| ?Description }}		{{#ask: [[хи-квадрат]] \| ?Description }}

Patarakin: /* Критерий хи-квадрат */

2025-12-06T08:22:15Z

Критерий хи-квадрат

← Предыдущая версия		Версия от 11:22, 6 декабря 2025
Строка 25:		Строка 25:

	<math>\chi^2 = \sum \frac{(O - E)^2}{E}</math>		<math>\chi^2 = \sum \frac{(O - E)^2}{E}</math>
			где:
			* O — наблюдаемые частоты
			* E — ожидаемые частоты

			{{#ask: [[хи-квадрат]] \| ?Description }}

Patarakin: /* Формулы для расчёта */

2025-12-06T08:20:39Z

Формулы для расчёта

← Предыдущая версия		Версия от 11:20, 6 декабря 2025
Строка 17:		Строка 17:
	=== Формулы для расчёта ===		=== Формулы для расчёта ===

			==== Z тест ====
	<math>z = \frac{(\hat{p}_B - \hat{p}_A)}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_A} + \frac{1}{n_B})}}</math>		<math>z = \frac{(\hat{p}_B - \hat{p}_A)}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_A} + \frac{1}{n_B})}}</math>


			==== Критерий хи-квадрат ====
			Для анализа таблиц сопряжённости применяется критерий [[хи-квадрат]]:

			<math>\chi^2 = \sum \frac{(O - E)^2}{E}</math>

Patarakin: /* Ключевые статистические параметры */

2025-12-06T08:18:00Z

Ключевые статистические параметры

← Предыдущая версия		Версия от 11:18, 6 декабря 2025
Строка 14:		Строка 14:
	#		#
	Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.		Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.

			=== Формулы для расчёта ===

			<math>z = \frac{(\hat{p}_B - \hat{p}_A)}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_A} + \frac{1}{n_B})}}</math>

Patarakin: Новая страница: «{{Понятие |Description=A/B тестирование (также известное как сплит-тестирование или bucket testing) — это метод статистического сравнения двух или более вариантов (A и B), основанный на случайном распределении участников эксперимента по группам для определения того,...»

2025-12-06T08:14:34Z

Новая страница: «{{Понятие |Description=A/B тестирование (также известное как сплит-тестирование или bucket testing) — это метод статистического сравнения двух или более вариантов (A и B), основанный на случайном распределении участников эксперимента по группам для определения того,...»

Новая страница

{{Понятие
|Description=A/B тестирование (также известное как сплит-тестирование или bucket testing) — это метод статистического сравнения двух или более вариантов (A и B), основанный на случайном распределении участников эксперимента по группам для определения того, какой вариант показывает лучшие результаты по выбранной метрике. Метод использует принципы проверки статистических гипотез (hypothesis testing) или двухвыборочной проверки гипотез, применяемой в статистике.
|Field_of_knowledge=Статистика, Моделирование
}}
В образовательной сфере A/B тестирование активно применяется для оптимизации онлайн-обучения. Например, платформа Coursera использовала данный метод для совершенствования дизайна курсов, что привело к увеличению вовлечённости студентов на 25%.

# Нулевая гипотеза (H₀): Между вариантами A и B нет статистически значимого различия. Конверсии обоих вариантов равны. <math>H_0: p_A = p_B</math>
# Альтернативная гипотеза (H₁): Между вариантами A и B существует статистически значимое различие. <math>H_1: p_A \neq p_B</math>

=== Ключевые статистические параметры ===
# Уровень значимости (α) — вероятность ошибки первого рода (ложноположительный результат), обычно устанавливается на уровне 0.05.
# Мощность теста (1-β) — вероятность корректного отклонения нулевой гипотезы при её ложности, рекомендуемое значение — 0.80 (80%).
# [[p-value]] — вероятность получить наблюдаемый или более экстремальный результат при условии истинности нулевой гипотезы.
#
Размер эффекта (effect size) — величина различия между вариантами, измеряемая в стандартизированных единицах.