第十九讲 大数定律与中心极限定理

概率论与数理统计 讲义 NUDT 2023SP

---

---

概率论中的极限定理

• 大数定律（the Law of Large Numbers）
  
  • 随机变量序列的前部分项的算术平均值在某种条件下收敛到这些项的均值的算术平均值
• 中心极限定理（the Central Limit Theorem）
  
  • 在一定条件下，大量随机变量的和的分布趋近于正态分布

---

19.1 大数定律

• 频率的稳定性：在大量重复试验中，随机事件 $A$ 发生的频率随着试验次数的增加而趋于稳定.
  
  • Bernoulli 大数定律：二项试验的成功频率
  • Chebyshev 大数定律：两两不相关的随机变量列
  • Khinchin 大数定律：独立同分布的随机变量列

---

依概率收敛

设 $\{X_n\}$ 是一个随机变量序列，$X$ 是一个随机变量，若对任意 $\varepsilon>0$，总有

$$\bbox[yellow]{\lim\limits_{n\to\infty}P\{|X_n-X|<\varepsilon\}\stackrel{\Delta}{=}\lim\limits_{n\to\infty}P\{\omega||X_n(\omega)-X(\omega)|<\varepsilon\}=1,}$$

则称序列 $\{X_n\}$ 依概率收敛到 $X$. 记为：$\bbox[yellow]{X_n\xrightarrow{\;P\;}X.}$

• 等价的形式：$\bbox[yellow]{\lim\limits_{n\to\infty}P\{|X_n-X|\geq\varepsilon\}=0.}$

---

一个依概率收敛的实例

• 随着 $k$ 的增大，随机变量 $X_k$ 与随机变量 $0$ 存在差异的部分越来越少.
• 但是对于任意的 $\omega\in\Omega$，不难发现 $X_k(\omega)$ 都不收敛到 $0$.
• 依概率收敛本质上是一种函数列的整体收敛.

---

依概率收敛的性质

设 $X_n\xrightarrow{\;P\;}a$, $Y_n\xrightarrow{\;P\;}b$，则

1. $X_n\pm Y_n\xrightarrow{\;P\;}a\pm b$.
2. $X_n Y_n\xrightarrow{\;P\;}a b$.
3. 若 $\lim\limits_{n\to\infty}\alpha_n=\alpha$，$\lim\limits_{n\to\infty}\beta_n=\beta$，则 $\alpha_nX_n+\beta_nY_n\xrightarrow{\;P\;}\alpha a+\beta b$.
4. 若函数 $g(x,y)$ 在 $(a,b)$ 处连续，则 $g(X_n,Y_n)\xrightarrow{\;P\;}g(a,b)$.

---

Bernoulli 大数定理

设 $\mu_n$ 是 $n$ 重 Bernoulli 试验（二项试验）中的成功次数，若每次试验中成功的概率为 $p$，则

$$\frac{\mu_n}{n}\xrightarrow{\;P\;}p.$$

• 只要重复的次数足够多，$\displaystyle \frac{\mu_n}{n}$ 与 $p$ 的偏差较大的情况几乎不会发生

---

Chebyshev 大数定理

设 $\{X_n\}$ 为两两不相关的随机变量列，且每个每个随机变量的方差有共同的上界，则 $\{X_n\}$ 服从大数定律.

• 所谓服从大数定律，是指 $\bbox[yellow]{\overline{X}_n\stackrel{\Delta}{=}\frac{1}{n}\sum\limits_{i=1}^nX_i\xrightarrow{\;P\;}\frac{1}{n}\sum\limits_{i=1}^nE(X_i).}$

---

Chebyshev 不等式

设随机变量 $X$ 的期望和方差均存在，则对任意 $\varepsilon > 0$,

$$\bbox[yellow]{P\{|X-E(X)|\geq \varepsilon\}\leq\frac{D(X)}{\varepsilon^2}.}$$

• $\displaystyle P\{|X-E(X)|\geq \varepsilon\}=\int_{|X-E(X)|\geq\varepsilon}f(x)\mathrm{d}x$
  
  • $\displaystyle \leq\int_{|X-E(X)|\geq\varepsilon}\frac{[x-E(X)]^2}{\varepsilon^2}f(x)\mathrm{d}x$
  • $\displaystyle \leq\frac{1}{\varepsilon^2} \int_{-\infty}^{+\infty} [x-E(X)]^2f(x) \mathrm{d} x =\frac{D(X)}{\varepsilon^2}$

---

再看 3-sigma 原理

• 设 $E(X)=\mu$, $D(X)=\sigma^2$.
• 由 Chebyshev 不等式，$\displaystyle \bbox[yellow]{P\{|X-\mu|\geq 3\sigma\}\leq\frac{1}{9}.}$
• The upper bound in Chebyshev inequality is sharp(精确的), in the sense that it cannot be made any smaller and still hold for all distributions.

---

Khinchin 大数定理（弱大数定理）

定理： 设 $\{X_n\}$ 是独立同分布（independent and identical，缩写：iid）的随机变量序列，且数学期望存在，则 $\{X_n\}$ 服从大数定律.

• 在方差存在的条件下，以上定理是 Chebyshev 大数定理的直接推论.
• 推论： 设 $\{X_n\}$ 是独立同分布的随机变量列，且 $k$ 阶原点矩存在，则 $\{X_n^k\}$ 服从大数定律.

---

在方差存在的条件下证明弱大数定理

• 记 $\displaystyle \overline{X}_n=\frac{1}{n}\sum\limits_{k=1}^{n}X_k$
  
  • $\displaystyle E(\overline{X}_n)=\frac{1}{n}\sum\limits_{k=1}^{n}E(X_k)=\frac{1}{n}(n\mu)=\mu$
  • $\displaystyle D(\overline{X}_n)=\frac{1}{n^2}\sum\limits_{k=1}^{n}D(X_k)=\frac{1}{n^2}(n\sigma^2)=\frac{\sigma^2}{n}$
• $\displaystyle 1\geq P\{|\overline{X}_n-\mu|<\varepsilon\}\geq 1-\frac{\sigma^2/n}{\varepsilon^2}$
• 由夹逼准则，$\lim\limits_{n\to\infty}P\{|\overline{X}_n-\mu|<\varepsilon\}=1$

---

利用大数定律计算积分

问题： 给定函数 $g(x)$，求 $\int_a^bg(x)\mathrm{d}x$ 的近似值.

• 考虑独立同分布的随机变量 $X_i\sim U(a,b),\;i=1,2,...,n.$
• $E(g(X_i))=\int_a^bg(x)\frac{1}{b-a}\mathrm{d}x$
• $\Rightarrow\;\bbox[yellow]{\int_a^bg(x)\mathrm{d}x=(b-a)E(g(X_i))=(b-a)\lim\limits_{n\to\infty}\frac{1}{n}\sum\limits_{i=1}^ng(X_i).}$

---

例 求积分 $\int_0^1\exp(x^2)\mathrm{d}x$ 的近似值.

• 结果 $\approx 1.46265$.

---

19.2 中心极限定理

• 在实际应用中，许多随机变量是由大量相互独立的随机因素叠加产生的.
• 如果其中每个因素在总的影响中所起的作用都是微小的
  
  • 即：没有任何一个因素的影响占据绝对主导的地位
• 则往往这样综合得到的随机变量近似地服从正态分布

---

Lindeberg-Levy 中心极限定理

定理 设随机变量 $X_1,X_2,...,X_{n}$ 独立同分布，且存在期望 $\mu$ 和方差 $\sigma^2$，则标准化随机变量 $\frac{\overline{X}_n-\mu}{\sigma/\sqrt{n}}$ 的分布函数 $F_n(x)$ 对任意 $x\in\mathbb{R}$ 满足

$$\bbox[yellow]{\lim\limits_{n\to\infty}F_n(x)=\Phi(x)=\dfrac{1}{\sqrt{2}}\int_{-\infty}^{x}\exp\left(-\frac{t^2}{2}\right)\mathrm{d}t.}$$

记为：$\displaystyle \bbox[yellow]{\frac{\overline{X}_n-\mu}{\sigma/\sqrt{n}}\stackrel{\text{近似}}{\sim}N(0,1).}$

---

例：电压噪声的叠加

一个高压变电器同时可接收到 20 个噪声电压，已知每个噪声源互不干扰，且服从 10 伏以内的均匀分布，求总的噪声电压不超过 105 伏的概率.

• 记每个噪声电压为 $V_k\;(k=1,2,...,20)$
• $V_k\sim U(0,10)$ 且相互独立，期望和方差都存在
• 满足独立同分布的中心极限定理的条件

---

解：

• $V_k\sim U(0,10)\;(k=1,2,...,20)$ 相互独立
  
  • $E(V_k)=5$，$D(V_k)=\frac{(10-0)^2}{12}$
• 记 $V=\sum\limits_{k=1}^{n}V_k$，由中心极限定理
  
  • $\frac{\frac{1}{20}V-5}{\sqrt{\frac{100}{12}}/\sqrt{20}}=\frac{V-100}{(10/\sqrt{12})\sqrt{20}}\stackrel{\text{近似}}{\sim}N(0,1)$
• $P\{V\geq 105\}=P\left\{\frac{V-100}{(10/\sqrt{12})\sqrt{20}}\geq\frac{105-100}{(10/\sqrt{12})\sqrt{20}}\right\}$
  
  • $\approx P\left\{\frac{V-100}{(10/\sqrt{12})\sqrt{20}}\geq 0.387\right\}\approx 1-\Phi(0.387)\approx 0.348$

---

De Moivre-Laplace 中心极限定理

定理：设随机变量 $Y_n\sim b(n,p)\;(n=1,2,...)$，则

$$\bbox[yellow]{\frac{Y_n-np}{\sqrt{np(1-p)}}\stackrel{\text{近似}}{\sim}N(0,1).}$$

• 记 $\displaystyle Y_n=\sum\limits_{i=1}^{n}X_i$，其中 $X_i\sim b(1,p)$ 独立同分布
• $E(X_i)=p,\;D(X_i)=p(1-p)$
• $\displaystyle \frac{Y_n-np}{\sqrt{np(1-p)}}=\frac{\overline{X}-E(X_i)}{\sqrt{D(X_i)}/\sqrt{n}}\stackrel{\text{近似}}{\sim}N(0,1)$

---

• 记 $X$ 为 90000 次中纵摇角大于 $3^{\circ}$ 的次数
  
  • $X\sim b(90000,1/3)$
• $P\{29500\leq X\leq 30500\}$
  
  • $=P\left\{\frac{X-90000\times1/3}{\sqrt{90000\times 1/3\times 2/3}}\in\left[-\frac{5}{\sqrt{2}},\frac{5}{\sqrt{2}}\right]\right\}$
  • $\approx \Phi\left(\frac{5}{\sqrt{2}}\right)-\Phi\left(-\frac{5}{\sqrt{2}}\right)\approx 0.9995$
• 思考：本例可以使用 Poisson 分布来近似二项分布进行计算吗？

---

例：运气的重要性

大学英语四级考试，设有 85 道选择题，每题 4 个候选答案，只有一个正确. 要通过考试，必须答对 51 题以上. 求完全靠运气能通过考试的概率.

---

解：

• 定义 $X_i=\left\{\begin{array}{cc} 1 & \text{第}i\text{题正确} \\ 0 & \text{其他} \end{array}\right.\;i=1,2,...,85$.
• $X_i\sim b\left(1,1/4\right)$ 相互独立，且 $E(X_i)=\frac{1}{4}$，$D(X_i)=\frac{3}{16}$.
• $P\{答对至少51题\}=P\left\{\sum\limits_{i=1}^{85}X_i\geq 51\right\}=1-\left\{\sum\limits_{i=1}^{85}X_i < 51\right\}$
  
  • $=1-P\left\{\frac{\sum\limits_{i=1}^{85}X_i-85\times\frac{1}{4}}{\sqrt{85\times\frac{3}{16}}} < \frac{51-85\times\frac{1}{4}}{\sqrt{85\times\frac{3}{16}}}\right\}\approx 1-\Phi(7.452)\approx 0$

---

例：图书馆的座位

• 某大学图书馆共有 1000 个座位.
• 已知该大学有 10000 名学生，同一时刻，每个学生去图书馆的概率为 0.1.
• 问：现有座位能否以 $95\%$ 的概率满足需要？
• 如果不能，需要增加多少座位？

---

分析：

• 设 $X$ 为去图书馆的学生人数，则 $X\sim b(10000,0.1)$.
• $Y=\frac{X-10000\times 0.1}{\sqrt{10000\times0.1\times 0.9}}\stackrel{\text{近似}}{\sim}N(0,1)$
• $P\{X\leq 1000\}=P\left\{\frac{X-10000\times 0.1}{\sqrt{10000\times0.1\times 0.9}}\leq \frac{1000-10000\times 0.1}{\sqrt{10000\times0.1\times 0.9}}\right\}$
  
  • $=P\{Y\leq 0\}=\Phi(0)=0.5.$
• 这说明现有的座位数不足以满足要求.

---

• 设还需要增加 $a$ 个座位，即 $P\{X\leq 1000+a\}\leq 0.95.$
• 也即 $P\left\{\frac{X-10000\times 0.1}{\sqrt{10000\times0.1\times 0.9}}\leq \frac{1000+a-10000\times 0.1}{\sqrt{10000\times0.1\times 0.9}}\right\}=P\left\{Y\leq\frac{a}{30}\right\}$
  
  • $=\Phi\left(\frac{a}{30}\right)\geq 0.95.$
• 从而可知 $\frac{a}{30}\geq u_{0.95}\approx 1.6449$，进而 $a\geq 49.347$.
• 结论：再增加 50 个座位，即可满足要求.

---

Lyapunov 中心极限定理

定理三：设随机变量 $X_1,X_2,...,X_{n}$ 相互独立，且分别存在期望 $\mu_i$ 和方差 $\sigma^2_i\,(i=1,2,...,n)$，记 $B^2_n=\sum\limits_{i=1}^{n}\sigma_i^2$. 若存在正数 $\delta>0$，满足

$$\lim\limits_{n\to\infty}\sum\limits_{i=1}^{n}E\left\{\left(\frac{|X_i-\mu_i|}{B_n}\right)^{2+\delta}\right\}=0$$

则 $\sum\limits_{i=1}^{n}\frac{X_i-\mu_i}{B_n} \stackrel{\text{近似}}{\sim}N(0,1)$

---

例：考试通过的概率

某次考试共有考题 99 个，按从易到难的顺序排列，并假设某学生答对第 $i$ 题的概率为 $i/100$，$(i=1,2,...,100)$. 如果每道题是否答对是相互独立的，且至少答对 60 题才能通过考试，求该学生通过考试的概率.

---

解：

• 定义 $X_i=\left\{\begin{array}{cc} 1 & \text{第}i\text{题答对} \\ 0 & \text{第}i\text{题答错} \end{array}\right. \;i=1,2,...,99$
• $X_i\sim b(1,i/100)$ 相互独立
  
  • $E(X_i)=i/100$，$D(X_i)=\frac{i(100-i)}{10000}$
  • $B_{99}^2=D\left(\sum\limits_{i=1}^{99}X_i\right)=16.665$
• $n\geq 100$ 时，$B_n^2=16.665+0.0099(n-99)$
  
  • $\lim\limits_{n\to\infty}B_n^2=\infty$

---

• 取 $\delta=1$
• $\frac{\sum\limits_{i=1}^nE\left(|X_i-i/100|^{2+\delta}\right)}{B_n^{2+\delta}}=\frac{\sum\limits_{i=1}^nE\left(|X_i-i/100|^3\right)}{B_n^3}$
  
  • $<\frac{\sum\limits_{i=1}^n2\frac{i(100-i)}{10000}}{B_n^3}=\frac{2B_n^2}{B_n^3}=\frac{2}{B_n}\to 0\;(n\to\infty)$
• 由 Lyapunov 定理
  
  • $\sum\limits_{i=1}^{99}X_i\stackrel{\text{近似}}{\sim}N\left(\sum\limits_{i=1}^{99}\frac{i}{100},B_{99}^2\right)\approx N(49.5,16.665)$

---

• $P\left\{\sum\limits_{i=1}^{99}X_i\geq 60\right\}=1-P\left\{\sum\limits_{i=1}^{99}X_i< 60\right\}$
  
  • $1-P\left\{\frac{\sum\limits_{i=1}^{99}X_i-49.5}{\sqrt{16.665}}< \frac{60-49.5}{\sqrt{16.665}}\right\}\approx 1-\Phi(2.57)\approx 0.0051$

---

中心极限定理的意义

• Lyapunov 定理说明，无论各个随机变量 $X_i\;(i=1,2,...,n)$ 服从什么分布，只要满足定理的条件，则当 $n$ 充分大时，其和 $\sum\limits_{i=1}^nX_n$ 就近似服从正态分布

例 $n=30$

• $X^{(1)}\sim U(1,5)$
  
  • $\overline{X^{(1)}}$ 近似服从 $N(3,0.21^2)$
• $X^{(2)}$ 的密度函数为 $f(x)=\left\{\begin{array}{ll}(3-x)/4 & 1\leq x<3\\ (x-3)/4 & 3\leq 3\leq 5\\ 0 & \text{其他}\end{array}\right.$
  
  • $\overline{X^{(2)}}$ 近似服从 $N(3,0.26^2)$
• $X^{(3)}\sim\mathrm{Exp}(1)$
  
  • $\overline{X^{(3)}}$ 近似服从 $N(1,0.18^2)$

---

小结

• 正确理解大数定律与中心极限定理的含义
  
  • 理解依概率收敛的含义
• 重点：利用中心极限定理估算概率
  
  • 独立同分布的中心极限定理
  • De Moivre-Laplace 定理
• 了解 Chebyshev 不等式

---

All sciences are vain and full of errors that are not born of Experience, the mother of all Knowledge.
--Leonardo da Vinci