贝叶斯公式

机器学习

---

Since $P(AB) = P(A) P(B \mid A) = P(B) P(A \mid B)$, we have

$$P(B \mid A) = \frac{P(B) P(A \mid B)} {P(A)}$$

If $B = \left\{ B_1, B_2, \dots, B_n \right\}$, then

$$P(A) = \sum_{i=1}^n P(B_i) P(A \mid B_i)$$
we have
$$P(B_i \mid A) = \frac{P(B_i) P(A \mid B_i)} {\sum_{i=1}^n P(B_i) P(A \mid B_i)}$$

We call $P(B_i \mid A)$ posterior probability, and $P(A \mid B_i) P(B_i)$ prior probability.

水果糖

两个碗，一号碗有30颗水果糖和10颗巧克力糖，二号碗有水果糖和巧克力糖各20颗。现在随机选择一个碗，从中摸出一颗糖，发现是水果糖。请问这颗水果糖来自一号碗的概率有多大？

$H_1$ 和 $H_2$ 表示来自一号碗和二号碗，$E$ 表示水果糖，那么

$$P(H_1 \mid E) = P(H_1) \frac{P(E \mid H_1)}{P(E)}$$
另外
$$P(E) = P(E \mid H_1) P(H_1) + P(E \mid H_2) P(H_2) = 0.625$$
所以
$$P(H_1 \mid E) = 0.5 \times \frac {0.75} {0.625} = 0.6$$

垃圾邮件分类

假定有单词 $W$ 出现，求是垃圾邮件 $S$ 的概率：

$$P(S \mid W) = P(S) \frac {P(W \mid S)} {P(W)}$$
其中
$$P(W) = P(W \mid S) P(S) + P(W \mid H) P(H)$$
$P(H)$ 是非垃圾邮件的概率。显然 $P(S)$、$P(H)$、$P(W \mid S)$ 和 $P(W \mid H)$ 都是可以通过统计简单得到的。

一封邮件包含肯定包含许多单词，我们挑选其中 $P(S \mid W)$ 最高的 $n$ 个单词，计算联合概率。

$$P = \frac {P_1 P_2 \dots P_n P(S)} {P_1 P_2 \dots P_n P(S) + (1 - P_1)(1 - P_2) \dots (1 - P_n) (1 - P(S))}$$
其中
$$P_i = P(S \mid W_i)$$

$\psi \sigma \Sigma \phi$