Теорема Байеса

Теорема Байеса (или формула Байеса) — одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое-либо событие (гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны. Названа в честь её автора, преп. Томаса Байеса (посвящённая ей работа «An Essay towards solving a Problem in the Doctrine of Chances» впервые опубликована в 1763 году,^[1] через 2 года после смерти автора). Полученную по формуле вероятность можно далее уточнять, принимая во внимание данные новых наблюдений.

Психологические эксперименты^[2] показали, что люди при оценках вероятности игнорируют различие априорных вероятностей (ошибка обоснования оценки (англ.)русск.), и потому результаты по формуле Байеса и правильные результаты могут сильно отличаться от ожидаемых.

Формулировка

Формула Байеса: $P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}$, где $P(A)$ — априорная вероятность гипотезы A (смысл такой терминологии см. ниже); $P(A|B)$ — вероятность гипотезы A при наступлении события B (апостериорная вероятность); $P(B|A)$ — вероятность наступления события B при истинности гипотезы A; $P(B)$ — полная вероятность наступления события B.

Вывод формулы  

Формула элементарно выводится из определения условной вероятности: $P(A|B) = \frac{P(AB)}{P(B)} \Rightarrow P(AB) = P(A|B)P(B) = P(B|A)P(A)$

«Физический смысл» и терминология

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае обычно называют гипотезами, так как они — предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще), а условную — с учетом факта произошедшего события — апостериорной (насколько вероятна причина оказалась с учетом данных о событии).

Следствие

Формула Байеса является важным следствием из формулы полной вероятности события, зависящего от нескольких несовместных гипотез (и только от них!).

$P(B)=\sum_{i=1}^N P(A_i)P(B|A_i)$ — вероятность наступления события B, зависящего от ряда гипотез $A_i$, если известны степени достоверности этих гипотез (например, измерены экспериментально);

Вывод формулы  

Если событие зависит только от причин $A_i$, то если оно произошло, значит, обязательно произошла какая-то из причин, т.е.

$\sum_i P(A_i|B) = 1\,$

По формуле Байеса

$\sum_i \frac{P(A_i)P(B|A_i)}{P(B)} = 1$

Переносом $P(B)$ вправо получаем искомое выражение.

Пример

Событие B — в баке нет бензина, событие A — машина не заводится. Заметим, что вероятность Р(А|В) того, что машина не заведется, если в баке нет бензина, равняется единице. Тем самым, вероятность Р(В) того, что в баке нет бензина, равна произведению вероятности Р(А) того, что машина не заводится, на вероятность P(B|A) того, что причиной события А стало именно отсутствие бензина (событие В), а не, к примеру, разряженный аккумулятор.

Пример расчёта

Пусть вероятность брака у первого рабочего $p_1=0{,}9$, у второго рабочего — $p_2=0{,}5$, а у третьего — $p_3=0{,}2$. Первый изготовил $n_1 = 800$ деталей, второй — $n_2=600$ деталей, а третий — $n_3=900$ деталей. Начальник цеха берёт случайную деталь, и она оказывается бракованной. Спрашивается, с какой вероятностью эту деталь изготовил третий рабочий?

Cобытие $B$ — брак детали, событие $A_i$ — деталь произвёл рабочий $i$. Тогда $P(A_i)=n_i/N$, где $N=n_1+n_2+n_3$, а $P(B|A_i)=p_i$. По формуле полной вероятности

$P(B)=\sum_{i=1}^3 P(B|A_i)P(A_i).$

По формуле Байеса получим:

$P(A_3|B)=\frac{P(B|A_3)P(A_3)}{P(B)}=\frac{P(B|A_3)P(A_3)}{P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+P(B|A_3)P(A_3)}=$$=\frac{p_3 n_3/N}{p_1n_1/N+p_2n_2/N+p_3n_3/N}=\frac{0{,}2\cdot900/2300}{0{,}9\cdot800/2300+0{,}5\cdot600/2300+0{,}2\cdot900/2300}=0{,}15.$

См. также

• Байесовская фильтрация спама
• Байесовская сеть доверия
• Байесовская вероятность
• Некорректное априорное распределение
• Парадокс Монти Холла
• Парадокс закономерности

Примечания

1. ↑ Bayes, Thomas, and Price, Richard (1763). «An Essay towards solving a Problem in the Doctrine of Chance. By the late Rev. Mr. Bayes, communicated by Mr. Price, in a letter to John Canton, M. A. and F. R. S.». Philosophical Transactions of the Royal Society of London 53: 370—418.
2. ↑ Kahneman, et al, 2005, pp. 153-160

Литература

• Гмурман В. Е. Теория вероятностей и математическая статистика, — М.: Высшее образование. 2005
• Берд Киви. Теорема преподобного Байеса. // Журнал «Компьютерра», 24 августа 2001 г.
• Judgment under Uncertainty: Heuristics and Biases / Daniel Kahneman, et al. — 21st. — Cambridge University Press, 2005. — 555 p. — ISBN 978-0-521-28414-1

Для улучшения этой статьи желательно?: Проставив сноски, внести более точные указания на источники. Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное.