Теорема Байеса
| Описание | Теорема Байеса (или формула Байеса) — одна из основных теорем элементарной теории вероятностей, которая позволяет определить вероятность события при условии, что произошло другое статистически взаимозависимое с ним событие. Другими словами, по формуле Байеса можно уточнить вероятность какого-либо события, взяв в расчёт как ранее известную информацию, так и данные новых наблюдений. Формула Байеса может быть выведена из основных аксиом теории вероятностей, в частности из условной вероятности. Особенность теоремы Байеса заключается в том, что для её практического применения требуется большое количество расчётов, вычислений, поэтому байесовские оценки стали активно использовать только после революции в компьютерных и сетевых технологиях. На сегодняшний день активно применяется в машинном обучении и технологиях искусственного интеллекта. |
|---|---|
| Область знаний | Информатика, Робототехника, Искусственный интеллект, Управление |
| Авторы | Байес |
| Поясняющее видео | |
| Близкие понятия | вероятность |
| Среды и средства для освоения понятия |
Психологические эксперименты показали, что люди часто неверно оценивают реальную (математически верную) вероятность события, основываясь на некоем личном полученном опыте (апостериорная вероятность), поскольку игнорируют саму вероятность предположения (априорная вероятность). Поэтому правильный результат по формуле Байеса может сильно отличаться от интуитивно ожидаемого.
[math]\displaystyle{ P(A \mid B) = \frac{P(B \mid A)\, P(A)}{P(B)} }[/math], где
- [math]\displaystyle{ P(A) }[/math] — априорная вероятность гипотезы A (смысл такой терминологии см. ниже);
- [math]\displaystyle{ P(A \mid B) }[/math] — вероятность гипотезы A при наступлении события B (апостериорная вероятность);
- [math]\displaystyle{ P(B \mid A) }[/math] — вероятность наступления события B при истинности гипотезы A;
- [math]\displaystyle{ P(B) }[/math] — полная вероятность наступления события B.
Доказательство
Формула Байеса вытекает из определения условной вероятности. Вероятность совместного события [math]\displaystyle{ AB }[/math] двояко выражается через условные вероятности
- [math]\displaystyle{ P(AB) = P(A \mid B)P(B) = P(B \mid A)P(A) }[/math]
Следовательно [math]\displaystyle{ P(A \mid B) = \frac{P(AB)}{P(B)} = \frac{P(B \mid A)\, P(A)}{P(B)} }[/math]
Вычисление P(B)
В задачах и статистических приложениях [math]\displaystyle{ P(B) }[/math] обычно вычисляется по формуле полной вероятности события, зависящего от нескольких несовместных гипотез, имеющих суммарную вероятность 1.
- [math]\displaystyle{ P(B)=\sum_{i=1}^N P(B \mid A_i) P(A_i) }[/math],
где вероятности под знаком суммы известны или допускают экспериментальную оценку.
В этом случае формула Байеса записывается так:
- [math]\displaystyle{ P(A_j \mid B) = \frac{P(B \mid A_j) P(A_j)}{\sum_{i=1}^N P(B \mid A_i) P(A_i)} }[/math]
«Физический смысл» и терминология
Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной. При этом необходимо понимать, для применения теоремы причинно-следственная связь между [math]\displaystyle{ A }[/math] и [math]\displaystyle{ B }[/math] не является обязательной.
События, отражающие действие «причин», в данном случае называют гипотезами, так как они — предполагаемые события, повлёкшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще), а условную — с учётом факта произошедшего события — апостериорной (насколько вероятна причина оказалась с учётом данных о событии).
Энтомолог предполагает, что жук может относиться к редкому подвиду жуков, так как у него на корпусе есть узор. В редком подвиде 98 % жуков имеют узор, или P(узор | редкий) = 0,98. Среди обычных жуков только 5 % имеют узор: P(узор | обычный) = 0,05. Редкого вида жуков насчитывается лишь 0,1 % среди всей популяции: P(редкий) = 0,001.
- Какова вероятность того, что жук, имеющий узор, относится к редкому подвиду, то есть, чему равно P(редкий | узор)?
Из расширенной теоремы Байеса получаем (любой жук может относиться либо к редким, либо к обычным): [math]\displaystyle{ \begin{align}P(\text{редкий} \mid \text{узор}) &= \frac{P(\text{узор} \mid \text{редкий}) \times P(\text{редкий})} {P(\text{узор} \mid \text{редкий}) \times P(\text{редкий}) \, + \, P(\text{узор} \mid \text{обычный}) \times P(\text{обычный})} \\[8pt] &= \frac{0{,}98 \times 0{,}001} {0{,}98 \times 0{,}001 + 0{,}05 \times 0{,}999} \\[8pt] &\approx 0{,}019. \end{align} }[/math]
