第五讲 全概率公式与 Bayes 公式

概率论与数理统计 讲义 NUDT 2023SP

---

---

5.1 全概率公式

例：设女性患某种疾病的概率为 $0.3$，男性患该病的概率为 $0.25$，已知全国的男女比例为 $40:42$，求任何一人患该病的概率.[1]

---

解：定义事件 $D$ 表示患病，事件 $M,F$ 分别表示男性和女性.

$$\begin{aligned} P(D)&=P(DM)+P(DF)\\ &=P(D|M)P(M)+P(D|F)P(F)\\ &=0.3\times\frac{42}{82}+0.25\times\frac{40}{82} \approx 0.274. \end{aligned}$$

---

全概率公式

定理：设 $A_1, . . . , A_n$ 构成了样本空间的一个分划，且 $P(A_i)\ne 0,\;(i=1,...,n)$，则对任意事件 $B$,

$$P(B)=\sum\limits_{i=1}^{n}P(B|A_i)P(A_i)$$

• $A_1,..., A_n$ 构成样本空间的一个分划，是指 $A_1,..., A_n$ 两两互斥，且 $\bigcup\limits_{i=1}^nA_n=\Omega$
• 以上定理可推广到可列多个事件 $A_1,A_2,...$ 构成的分划的情况

---

例：新冠的全国治愈率

截止 2020 年 2 月 4 日，新冠病毒感染患者的治愈率在湖北省内为 $3.12\%$，在湖北省外为 $4.87\%$，已知湖北省内的患者总数占全国的 $89\%$，试求全国范围内的治愈率.

• $\text{全国范围的治愈率}$
  
  • $={0.0312}\times{0.89}$
    
    • $+{0.0487}\times{0.11}$
  • $=0.033125\approx 3.31\%$

---

例：分袋摸球问题

有 10 个袋子, 其中甲袋二个, 每袋中有红球、白球各 2 个; 乙袋三个,每袋中有红球 3 个、白球 2 个; 丙袋五个, 每袋中有红球 2个、白球 3 个. 从 10 个袋中任取一袋, 再从袋中任取一球, 求取到白球的概率.

---

解：记 $B_1,B_2,B_3$ 分别表示取到甲、乙、丙袋，$A$ 表示取到白球. 由全概率公式

$$\begin{aligned} P ( A ) & = \sum _ { i = 1 } ^ { 3 } P ( A | B _ { i } ) P \left( B _ { i } \right) \\ & = \frac { 2 } { 10 } \times \frac { 2 } { 4 } + \frac { 3 } { 10 } \times \frac { 2 } { 5 } + \frac { 5 } { 10 } \times \frac { 3 } { 5 }\\ & = \frac { 13 } { 25 } . \end{aligned}$$

---

讨论

如果将三个袋中的球混合在一起，然后任取一球，问取到白球的概率是否一样？

• 不同！混合之后摸中的概率为 $25/48$.
• 全概率公式是概率的加权平均，也即不同袋中的白球被摸中的概率不同.
• 全部混在一起再摸，等于所有白球被摸中的概率是相同的.

---

例：Simpson 悖论

某医生尝试使用新疗法来对付死亡率很高的顽症，同时使用标准疗法对疗效进行对比评估，经一段时间的临床实践后，得到如下所示的统计数据.

-	标准疗法	新疗法
死亡	5950	9005
存活	5050(46%)	1095(11%)

很明显，新疗法的效果很糟糕. 可是，医生感到很委屈...

---

医生认为，无论是男性还是女性，新疗法的治疗存活率都高于标准疗法，可是为什么把两类人群合在一起计算时，结论就发生改变了呢？

男性患者

-	标准疗法	新疗法
死亡	950	9000
存活	50(5%)	1000(10%)

女性患者

-	标准疗法	新疗法
死亡	5000	5
存活	5000(50%)	95(95%)

---

Simpson 悖论 存在事件 $A,B,C$，满足 $P(A|B)<P(A|\overline{B})$，同时又有

$$P(A|BC)\geq P(A|\overline{B}C),\quad P(A|B\overline{C})\geq P(A|\overline{B}\cap\overline{C}).$$

• $A$：患者存活
• $B$：患者采用新疗法
• $C$：患者为男性

---

分析：$B,C$ 不独立是导致悖论出现的前提. 事实上，

$$P(A|B)=\bbox[yellow]{P(A|BC)}P(C|B)+\bbox[lightgreen]{P(A|B\overline{C})}P(\overline{C}|B),$$

$$P(A|\overline{B})=\bbox[yellow]{P(A|\overline{B}C)}P(C|\overline{B})+\bbox[lightgreen]{P(A|\overline{B}\cap \overline{C})}P(\overline{C}|\overline{B}),$$

若 $B,C$ 相互独立，则由 $\bbox[yellow]{P(A|BC)\geq P(A|\overline{B}C)}$ 和 $\bbox[lightgreen]{P(A|B\overline{C})\geq P(A|\overline{B}\cap\overline{C})}$ 必可推出

$$P(A|B)<P(A|\overline{B})。$$

---

5.2 Bayes 公式

例：一所学校里面有 60% 的男生. 男生总是穿长裤，女生则一半穿长裤一半穿裙子. 假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近视，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），请问他（她）是男生的概率是多大？

---

解： 定义事件：$B:$ 男生，$G:$ 女生；$T:$ 穿长裤，$S:$ 穿裙子. 由已知：$P(B)=0.6$, $P(G)=0.4$, $P(T|B)=1$, $P(T|G)=0.5$.

由全概率公式

$$P(T)=P(T|B)P(B)+P(T|G)P(G)=1\times 0.6+0.5\times 0.4=0.8.$$

穿长裤的人为男性的概率为 $P(B|T)$. 注意到 $P(BT)=P(B|T)P(T)=P(T|B)P(B)$, 故

$$P(B|T)=\frac{P(T|B)P(B)}{P(T)}=\frac{1\times 0.6}{0.8}=0.75.$$

---

Bayes 公式

设 $P(A)P(B)\ne 0$，则

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

• $P(A)$: 先验概率（prior probability）
• $P(A|B)$: 后验概率（posterior probability）

---

更一般形式的 Bayes 公式

设事件 $A_1, . . . , A_n$ 构成了样本空间的一个划分，且 $P(A_i)\ne 0,\;i=1,...,n$, 则

$$P \left( A _ { i } | B \right) = \frac { P ( B | A _ { i } ) P \left( A _ { i } \right) } { \sum\limits _ { j = 1 } ^ { n } P ( B | A _ { j } ) P \left( A _ { j } \right) },\; i = 1,2 , \cdots , n$$

---

例：次品来自哪个车间 ?

某工厂的一、二、三车间都生产同一产品，产量分别占总产量的 15%, 80%, 5%. 根据历史统计，三个车间的次品率分别为 2%, 1%, 3%. 现从汇总起来的产品中任取一个, 经检查是次品, 判断该次品是哪个车间生产的可能性较大？

---

解：记 $A$ 表示取得次品，$B_i$ 表示取到的产品是 $i$车间生产的，$i=1,2,3$，由全概率公式

$$\begin{aligned} P ( A ) & = \sum _ { j = 1 } ^ { 3 } P ( A | B _ { j } ) P \left( B _ { j } \right) \\ & = 0.02 \times 0.15 + 0.01 \times 0.80 + 0.03 \times 0.05 = 0.0125 \end{aligned}$$

再由 Bayes 公式

$$\begin{array} { l } { P \left( B _ { 1 } | A \right) = \frac { P ( A | B _ { 1 } ) P \left( B _ { 1 } \right) } { P ( A ) } = \frac { 0.02 \times 0.15 } { 0.0125 } = 0.24 } \\ { P \left( B _ { 2 } | A \right) = \frac { 0.01 \times 0.80 } { 0.0125 } = 0.64 } \\ { P \left( B _ { 3 } | A \right) = \frac { 0.03 \times 0.05 } { 0.0125 } = 0.12 } \end{array}$$

可见该次品是第二车间生产的可能性较大.

---

例：吸毒者的检测

现有一种检验吸毒者的测试. 历史数据显示，吸毒者检测呈阳性的概率为 $99\%$, 不吸毒者检测呈阴性的概率为 $99\%$. 已知某社区有 $0.5\%$ 的居民是吸毒者，为了排查吸毒者，社区对全体居民进行了检测.

问：该社区中检测结果呈阳性的人确实是吸毒者的概率有多高？

---

分析：

• 定义事件 $D$ 为吸毒，$\oplus$ 为检测呈阳性
• 由已知 $P(D)=0.005$, $P(\overline{D})=0.995$, $P(\oplus|D)=0.99$, $P(\oplus|\overline{D})=0.01$.
• $P(\oplus)=P(\oplus| D) P(D)+P(\oplus|\overline{D}) P(\overline{D})$
• $P(D|\oplus)=\frac{P(\oplus|D)P(D)}{P(\oplus)}\approx 0.3322$
• 结论：尽管检测的“准确率”高达 99%，但 Bayes 公式告诉我们：如果某人检测呈阳性，其吸毒的概率只有大约 33%，不吸毒的可能性比较大. 假阳性高，检测结果的可靠性存疑.

---

先验概率的影响

• 胰腺癌检测：即使 100% 的胰腺癌症患者都有某症状，而某人有同样的症状，并不能说明此人 100% 得了胰腺癌，还需要考虑先验概率. 假设胰腺癌的发病率是十万分之一，而全球有同样症状的人有万分之一，则此人得胰腺癌的概率只有十分之一，90% 的可能是是假阳性.
• 良种检测：假设 100% 的不良种子都表现 A 性状，而种子表现 A 性状，并不代表此种子 100% 是不良种子，还需要考虑先验概率. 假设一共有 6 万颗不良种子，在种子中的比例是十万分之一（假设总共有60亿颗种子），所有种子中有 1/3 表现 A 性状（即 20 亿颗种子表现 A 性状），则此种子为不良种子的概率只有十万分之三.
• 类似的问题：地沟油检验、外星信号检测、...

---

5.3 Bayes 方法

• Sometime during the 1740s, the Reverend Thomas Bayes made the ingenious discovery that bears his name but then mysteriously abandoned it. [2]
• It was rediscovered independently by a different and far more renowned man, Pierre Simon Laplace, who gave it its modern mathematical form and scientific application — and then moved on to other methods.

---

因 vs. 果

• Thomas Bayes, 1700s: how to infer causes(原因) from effects(结果)?
• A thought experiment:
  
  • There is a ball on table, and we don't know whether it's on left or right side.
  • Drop another ball on the table, and we are told that it's on the left side of the first ball.
    
    • We can infer that the first ball probably on the right side of the table.
  • If the 3rd ball is located on the left side of the first ball, then we are more likely to believe the 1st ball is on the right side.
• Bayes' system: Initial Belief $+$ New Data $\to$ Improved Belief

---

Bayes 公式与机器学习

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

• $P(A|B)$: Posterior probability.
• $P(A)$: Prior probability.
• $P(B|A)$: Likelihood.
• $P(B)$: Evidence(data,information)

---

案例 I: 新闻主题分类器

输入：一篇新闻报道（文本）
输出：报道的主题（例如：经济、体育、娱乐、科学）

$$P(\text{class}|\text{type of data})=\frac{P(\text{type of data}|\text{class})P(\text{class})}{P(\text{type of data})}$$

• $P(\text{class}|\text{type of data})$: 具有某种数据特征的文本为某主题的概率（例如：科比出现频率高的文本大概率和篮球有关）
• $P(\text{type of data}|\text{class})$: 某主题的文本具有某种数据特征的概率
  
  • 数据量越大该概率越可靠

---

案例 II: 拼写检查

输入：可能存在拼写错误的词汇或句子（$D$）
输出：按照可能性排序的修改建议（$h$）

$$P(h | D) = \frac{P(h) P(D | h)}{ P(D)}$$

• 例如：$D=$ "thew", $h=$ "the" 还是 "thaw" ?
• 如果 $P(\text{the}|\text{thew})>P(\text{thaw}|\text{thew})$, 则优先推荐 "the".

---

案例 III: 自然语言分析

输入： 一句(段)话
输出： 经过语义划分的语法结构

• 例如："The girl saw the boy with a telescope."
  
  • "The girl saw-with-a-telescope the boy."
  • "The girl saw the-boy-with-a-telescope."
• 例如："南京市长江大桥"
  
  • "南京市/长江大桥"
  • "南京/市长/江大桥"

---

Bayes 推断/决策

• 机器学习
• 图像识别/标记
• 垃圾邮件过滤
• 医学诊断
• 交易欺诈识别

---

扩展阅读

• Bayes’ Theorem Formula: Definition and Guide. link
• A History of Bayes' Theorem. link
• A Gentle Introduction to Bayes Theorem for Machine Learning. link
• How to Write a Spelling Corrector. link
• 怎么通俗易懂地解释贝叶斯网络和它的应用？link

---

小结

• 全概率公式
  
  • 加法原理和乘法原理的综合
  • 熟练掌握各种常见的分划
• Bayes 公式
  
  • 区分先验概率和后验概率
  • 了解基本的引用思路

---

No matter how correct a mathematical theorem may appear to be, one ought never to be satisfied that there was not something imperfect about it until it also gives the impression of being beautiful.
-- George Boole

---

Searching USS Scorpion

• In May 1968, the U.S. Navy's nuclear submarine USS Scorpion (SSN-589) failed to arrive as expected at her home port of Norfolk, Virginia. The command officers of the U.S. Navy were nearly convinced that the vessel had been lost off the Eastern Seaboard, but an extensive search there failed to discover the remains of Scorpion.
• A Navy deep-water expert, John P. Craven, brought together a group of people from different backgrounds, including mathematicians, submarine experts, experienced submarine commanders, and searchers. Craven made them to guess the most likely scenario, rather than let them to discuss with each other to get an answer.

---

Bayesian Search

• In order to use all the information gathered, a Bayesian search methodology was adopted. The final estimation is a collective judgment made by the team as a whole, not a personal judgment representing the smartest person in the team.
• Five months after the Scorpion submarine disappeared, it was discovered by a naval vessel. The location found the submarine is only 220 yards away from the location predicted by the Craven’s team.

---

参考资料

• USS Scorpion (SSN-589). link
• Bayesian search theory - Wikipedia. link
• Operations Analysis During the Underwater Search for Scorpion. link
• Bayesian Search for Missing Aircraft. link