第二十二讲 矩估计与最大似然估计

概率论与数理统计 讲义 NUDT 2023SP

---

---

22.1 矩估计

设 $X_1,X_2,...,X_n$ 为来自某总体的样本，该总体的 pmf/pdf 为 $f(x;\theta_1,\ldots,\theta_m)$，其中 $\theta_1,\ldots,\theta_m$ 为取值未知的参数.

1. 令总体的前 $m$ 阶矩对应地等于样本的前 $m$ 阶矩，从而可以解出 $\theta_1,\ldots,\theta_m$ 的估计量/值 $\hat{\theta}_1,\ldots,\hat{\theta}_m$.
2. $\hat{\theta}_1,\ldots,\hat{\theta}_m$ 称为 $\theta_1,\ldots,\theta_m$ 的 矩估计量(moment estimators)，代入样本观测值后计算可得 $\theta_1,\ldots,\theta_m$ 的 矩估计值(moment estimate).

---

矩估计的理论依据

• 1887，俄罗斯数学家 Pafnuty Chebyshev, 基于 Khinchin 大数定理，提出：
• 设 $X_1,X_2,...,X_{n}$ 是独立同分布的随机变量，且存在有限的 $k$-阶总体矩, $k=1,2,\ldots$, 则样本的 $k$-阶矩依概率收敛到 $E(X^k)$.

---

Pafnuty Chebyshev

• Пафну́тий Льво́вич Чебышёв (1821-1894)
• considered to be a founding father of Russian mathematics. Among his well-known students were the mathematicians Dmitry Grave, Aleksandr Korkin, Aleksandr Lyapunov, and Andrei Markov.
• Chebyshev Inequality
  
  • $\displaystyle {P}\{|X-{E}(X)| \geq \varepsilon \} \leq \frac{D(X)}{\varepsilon^{2}}.$

---

例：指数分布参数的矩估计

设 $X_1,X_2,...,X_n$ 为来自总体 $\mathrm{Exp}(\lambda)$ 的样本，求 $\lambda$ 的矩估计.

---

解：

• 因为只有一个待估参数，故只需令 $E(X)=\overline{X}$.
• 对于指数分布，$E(X)=1/{\lambda}$, 进而可得 $1/{\lambda}=\overline{X}$ 或 ${\lambda}=1/\overline{X}$.
• 故所求 $\lambda$ 的矩估计为 $\hat{\lambda}=1/\overline{X}$.

---

例：Gamma 分布参数的矩估计

设 $X_1,X_2,...,X_n$ 为来自总体 $\Gamma(\alpha,\beta)$ 的样本，求 $\alpha,\beta$ 的矩估计.

• 分析： 有两个待估参数，故令 $E(X)=\overline{X}$, $\displaystyle E(X^2)=\frac{1}{n}\sum\limits_{i=1}^{n}X_i^2$.
• 对于 $X\sim\Gamma(\alpha,\beta)$，$E(X)=\alpha\beta$, $D(X)=\alpha\beta^2$.
• 注： 因为 $D(X)=E(X^2)-[E(X)]^2$，$\tilde{S}^2=\frac{1}{n}\sum\limits_{i=1}^nX_i^2-(\overline{X})^2$，可利用 $D(X)=\tilde{S}^2$ 替代 $E(X^2)=\frac{1}{n}\sum\limits_{i=1}^nX_i^2$.

---

解： 由矩估计法，令

$\left\{\begin{array}{l}\overline{X}=\alpha\beta \\ \tilde{S}^2=\alpha\beta^2\end{array}\right.$

解之可得

$\displaystyle \hat{\alpha}=\frac{(\overline{X})^2}{\tilde{S}^2}$， $\displaystyle \hat{\beta}=\frac{\tilde{S}^2}{\overline{X}}$

• 使用矩估计法时，可以使用总体方差和修正的样本方差替换总体和样本的二阶矩.

---

例：均匀分布参数的矩估计

求均匀分布 $U(a,b)$ 中参数 $a, b$ 的矩估计.

• $\displaystyle E(X)=\frac{a+b}2$, $\displaystyle D(X)=\frac{(b-a)^2}{12}$.
• 令 $\left\{\begin{array}{l}{\displaystyle \overline{X}=\frac{a+b}{2}} \\ {\displaystyle \tilde{S}^{2}=\frac{(b-a)^{2}}{12}}\end{array}\right.$, 解得 $\left\{\begin{array}{l}{\hat{a}=\overline{X}-2 \sqrt{3} \tilde{S}} \\ {\hat{b}=\overline{X}+2 \sqrt{3} \tilde{S}}\end{array}\right.$.

---

实验验证

以下为来自总体 $X\sim U(a,b)$ 的一组观测值

$$\begin{array}{} 0.4387,&0.3816,&0.7655,&0.7952,&0.1869,&0.4898,&0.456,&0.6463,\\ 0.7094,&0.7547,&0.2760,&0.6797,&0.6551,&0.1626,&\bbox[lightgreen,3pt]{0.1190},&0.4984,\\ \bbox[pink,3pt]{0.9597},&0.3404,&0.5853,&0.2238,&0.7513,&0.2551,&0.5060,&0.6991,\\ 0.8909,&0.9593,&0.5472,&0.1386,&0.1493,&0.2575,&0.8407,&0.2543,\\ 0.8143,&0.2435,&0.9293,&0.3500,&0.1966,&0.2511,&0.6160,&0.4733 \end{array}$$

• 矩估计值 $\hat{a}=0.0602, \hat{b}=0.9516$.
• 更“合理”的答案似乎应该是 $\hat{a}=X_{(1)}=0.1190$, $\hat{b}=X_{(n)}=0.9597$.

---

22.2 最大似然估计

• Early users of maximum likelihood were C.F. Gauss, P.S. Laplace, etc.
• However, its widespread use rose between 1912 and 1922 when Ronald Fisher recommended, widely popularized, and carefully analyzed maximum-likelihood estimation.

---

R.A. Fisher

• Sir Ronald Aylmer Fisher (1890-1962), a English geneticist and statistician

• "a genius who almost single-handedly created the foundations for modern statistical science"

• "the single most important figure in 20th century statistics"
• "the greatest of Darwin’s successors"

---

例：是谁留下的靶纸

• 一老战士与一新战士的射击命中率分别为 $0.9$ 和 $0.5$.
• 在射击训练中每人各打三枪. 训练结束后现场留有一张靶纸.
• 如果靶纸上有 $3$ 个弹孔，试问这张靶纸最有可能是谁的？
• 如果靶纸上只有 $1$ 个弹孔，试问这张靶纸又最有可能是谁的？

---

分析：

• 设靶纸上出现的弹孔数为 $X$，则 $X\sim b(3,p)$.
• $\displaystyle P\{X=k\}=C_3^k p^{k}(1-p)^{3-k} \;(k=0,1,2,3)$.
• 本问题本质上是一个参数估计问题，需要根据观测到的结果（弹孔数）来推断参数 $p$ 的取值更倾向于 $0.9$ 和 $0.5$ 中的哪一个.
  
  • 若估计得出 $p=0.9$，则可推断靶纸是老战士所留.
  • 若估计得出 $p=0.5$，则可推断靶纸是新战士所留.
• 最大似然：已经发生的事件应该就是最有可能发生的事件.

---

对于 $p$ 分别用 $0.9$ 和 $0.5$ 计算得分布律为

$$\begin{array}{c|cccc} \quad x \quad & \quad 0 \quad & \quad 1 \quad & \quad 2 \quad & \quad 3 \quad\\ \hline P_{p=0.9}\{X=x\}& 0.010 & 0.027 & 0.243 & \bbox[pink]{0.729} \\ P_{p=0.5}\{X=x\}& \bbox[pink]{0.125} & \bbox[pink]{0.375} & \bbox[pink]{0.375} & 0.125 \end{array}$$

• 从而 $p$ 的合理估计是 $\hat{p}=\left\{\begin{array}{ll}{0.5,} & {x=0,1,2} \\ {0.9,} & {x=3}\end{array}\right.$
• 结论： 有 $3$ 个弹孔的靶纸最有可能是老战士的；有 $1$ 个弹孔的靶纸最有可能是新战士的.

---

似然函数

设 $X_1,X_2,...,X_n$ 为来自某个总体的样本，该总体的 pmf/pdf 为 $f(x;\theta_1,\ldots,\theta_m)$，其中 $\theta_1,\ldots,\theta_m$ 为取值未知的参数.

• $X_1,X_2,...,X_n$ 的联合 pmf/pdf 为 $\displaystyle \bbox[yellow]{\prod_{i=1}^nf(x_i;\theta_1,\ldots,\theta_m).}$
• 在样本观测值给定的前提下，以上联合 pmf/pdf 可以视为 $\theta_1,\ldots,\theta_m$ 的函数，称为 似然函数(likelihood function). 记为：$\bbox[yellow]{L(\theta_1,\ldots,\theta_m).}$

---

最大似然估计

• 最大似然：已经发生的事件应该就是最有可能发生的事件.
• 在样本已知的前提下，求得的参数估计值 $\hat{\theta}_1,\ldots,\hat{\theta}_m$ 应该是使得该样本出现概率最大的一组值.
• 也即：$\hat{\theta}_1,\ldots,\hat{\theta}_m$ 是似然函数 $L(\theta_1,\ldots,\theta_m)$ 的最大值点.
• 按照最大似然的方法得出的估计量称为 最大似然估计 (maximum likelihood estimators, 缩写：mle).

---

例：指数分布参数的最大似然估计

求指数分布 $\mathrm{Exp}(\lambda)$ 的参数 $\lambda$ 的最大似然估计.

• 似然函数 $\displaystyle L(\lambda)=\prod_{i=1}^n\lambda \mathrm{e}^{-\lambda x_i}=\lambda^n\mathrm{exp}\left\{-\lambda\sum\limits_{i=1}^nx_i\right\}$
• 令 $\displaystyle \bbox[yellow]{\frac{\mathrm{d}}{\mathrm{d}\lambda}\ln L(\lambda)=0}$，也即 $\displaystyle \frac{n}{\lambda}-\sum\limits_{i=1}^nx_i=0$.
• 由此解得 $\lambda=\frac{1}{\overline{x}}$，故 $\lambda$ 的最大似然估计为 $\displaystyle \hat{\lambda}=\frac{1}{\overline{X}}$.

---

注

1. 对指数分布 $\mathrm{Exp}(\lambda)$，参数 $\lambda$ 的矩估计和最大似然估计相同, 都是 $\displaystyle \frac{1}{\overline{X}}$.
   
   • 但 $\frac{1}{\overline{X}}$ 并不是 $\lambda$ 的无偏估计，
   • 因为$E(1/\overline{X})\ne 1/E(\overline{X})=\lambda$.
2. 求似然函数 $L(\theta_1,\ldots,\theta_m)$ 的最值点，可以转换为求其对数似然函数 $\bbox[yellow]{\ln L(\theta_1,\ldots,\theta_m)}$ 的最值点.

---

例：正态分布参数的最大似然估计

求 $N(\mu,\sigma^2)$ 的参数 $\mu$ 和 $\sigma^2$ 的最大似然估计.

---

分析：

• $\displaystyle L(\mu,\sigma^2)=\left(\frac{1}{2\pi\sigma^2}\right)^{n/2}\exp\frac{-\sum\limits_{i=1}^n(x_i-\mu)^2}{2\sigma^2}$.
• $\displaystyle \ln L(\mu,\sigma^2)=-\frac{n}{2}\ln(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum\limits_{i=1}^n(x_i-\mu)^2$.
• $\left\{\begin{array}{ll}\displaystyle \frac{\partial}{\partial \mu}\ln L(\mu,\sigma^2)=\frac{1}{\sigma^2}\sum\limits_{i=1}^n(x_i-\mu) \\ \displaystyle \frac{\partial}{\partial \sigma^2}\ln L(\mu,\sigma^2)=-\frac{n}{2}\frac{1}{\sigma^2}+\frac{1}{2\sigma^4}\sum\limits_{i=1}^n(x_i-\mu)^2 \end{array}\right.$

---

• 令 $\left\{\begin{array}{ll}\displaystyle \frac{\partial}{\partial \mu}\ln L(\mu,\sigma^2)=\frac{1}{\sigma^2}\sum\limits_{i=1}^n(x_i-\mu)=0\\ \displaystyle \frac{\partial}{\partial \sigma^2}\ln L(\mu,\sigma^2)=-\frac{n}{2}\frac{1}{\sigma^2}+\frac{1}{2\sigma^4}\sum\limits_{i=1}^n(x_i-\mu)^2=0\end{array}\right.$
• 解得 $\mu=\overline{x}$, $\displaystyle \sigma^2=\frac{1}{n}\sum\limits_{i=1}^n(x_i-\overline{x})^2=\tilde{s}^2$.
• 故所求的最大似然估计为 $\hat{\mu}=\overline{X}$，$\displaystyle \hat{\sigma}^2=\tilde{S}^2$.

---

例：均匀分布参数的最大似然估计

求 $U(a,b)$ 的参数 $a,b$ 的最大似然估计.

---

分析：

• $L(a, b)=\displaystyle \prod_{i=1}^{n} \frac{1}{b-a}=(b-a)^{-n}, \quad \left(a\leq X_{(1)}, X_{(n)}\leq b\right)$.
  
  • 其中 $\displaystyle X_{(1)}=\min _{1 \leq i \leq n}\left\{X_{i}\right\}, X_{(n)}=\max _{1 \leq i \leq n}\left\{X_{i}\right\}$.
• 令 $\left\{\begin{array}{l}{\displaystyle \frac{\partial L}{\partial a}=n(b-a)^{-(n+1)}=0} \\ {\displaystyle \frac{\partial L}{\partial b}=-n(b-a)^{-(n+1)}=0}\end{array} \right.$，由此无法解出 $a,b$ 的确定值！
• 结合 $a,b$ 的取值范围，可得所求的最大似然估计为 $\hat{a}=X_{(1)}, \; \hat{b}=X_{(n)}$.

---

最大似然估计的不变原理

定理： 设 $\hat{\theta}_1,\ldots,\hat{\theta}_m$ 是参数 $\theta_1,\ldots,\theta_m$ 的最大似然估计，则任意函数 $h(\theta_1,\ldots,\theta_m)$ 的最大似然估计为 $h(\hat{\theta}_1,\ldots,\hat{\theta}_m)$.

• 例： 对于正态分布 $N(\mu,\sigma^2)$,
  
  • $\sigma^2$ 的最大似然估计为 $\displaystyle \hat{\sigma}^2=\tilde{S}^2$,
  • $\sigma$ 的最大似然估计为 $\displaystyle \hat{\sigma}=\sqrt{\tilde{S}^2}$.

---

例： 已知$X_1,X_2,...,X_{n_1}$，$Y_1,Y_2,...,Y_{n_2}$ 分别是来自总体 $X\sim N(\mu_1,1)$，$Y\sim N(\mu_2,4)$ 的样本，且二者相互独立. 求 $\mu=\mu_1-\mu_2$ 的最大似然估计.

• $\mu_1,\mu_2$ 的最大似然估计分别为 $\hat{\mu}_1=\overline{X}$ 和 $\hat{\mu}_2=\overline{Y}$.
• 由极大似然估计的不变原理，$\mu=\mu_1-\mu_2$ 的最大似然估计 $\hat{\mu}=\hat{\mu}_1-\hat{\mu}_2=\overline{X}-\overline{Y}$.
• 注意：矩估计一般不具有不变性！即：$\hat{\theta}$ 是 $\theta$ 的矩估计，一般不能推出 $h(\hat{\theta})$ 是 $h(\theta)$ 的矩估计.

---

小结

• 熟练掌握矩估计和最大似然估计的求解方法
• 重点与难点：极大似然估计
  
  • 正确书写似然函数
  • 事先确定参数的取值范围
• 注意结合点估计的评价准则对各种估计量进行比较

---

补充例题

例： 求二项分布 $b(m,p)$ 中参数 $p$ 的矩估计 $\hat{p}_M$ 和最大似然估计 $\hat{p}_L$，其中参数 $m$ 已知.

---

提示：

• $E(X_i)=mp$.
• 令 $\overline{X}=E(X)$, 或 $\overline{X}=mp$.
• 解得 $\displaystyle p=\frac{\overline{X}}{m}$.
• 故 $p$ 的矩估计 $\displaystyle \hat{p}_M=\frac{\overline{X}}{m}$.

---

• $b(m,p)$ 的分布律 $P\{X_i=k\}=\left(\begin{array}{c}{m} \\ {k}\end{array}\right) \cdot p^{k} \cdot(1-p)^{m-k}$，$k=0,1,2, \cdots, m$.
• 似然函数 $\displaystyle L(p)=\left[\prod\limits_{i=1}^{n}\left(\begin{array}{c}{m} \\ {x_{i}}\end{array}\right)\right] \cdot p^{\sum\limits_{i=1}^{n} x_{i}} \cdot(1-p)^{m{n}-\sum\limits_{i=1}^{n} x_{i}}$.
• 对数似然函数 $\displaystyle \ln L(p)=\ln \left[\prod_{i=1}^{n}\left(\begin{array}{c}{m} \\ {x_{i}}\end{array}\right)\right]+\sum_{i=1}^{n} x_{i} \cdot \ln p+\left(mn-\sum_{i=1}^{n} x_{i}\right) \cdot \ln (1-p)$.

---

• 令 $\displaystyle \frac{\mathrm{d} \ln L(p)}{\mathrm{d} p}=0$.
  
  • 即 $\displaystyle \frac{\sum\limits_{i=1}^{n} x_{i}}{p}-\frac{mn-\sum\limits_{i=1}^{n} x_{i}}{1-p}=0$.
• 解得 $\displaystyle p=\frac{1}{m} \left(\frac{1}{n} \sum_{i=1}^{n} x_{i}\right)=\frac{\overline{x}}{m}$.
• 故 $p$ 的最大似然估计为 $\displaystyle \hat{p}_L=\frac{\overline{X}}{m}$.

---

例： 设 $X_1,X_2,...,X_n$ 为来自某总体的样本，该总体的密度函数为

$$f(x ; \theta)=\left\{\begin{array}{cc}{\theta,} & {0<x<1} \\ {1-\theta,} & {1 \leq x<2} \\ {0,} & {\text {其他}}\end{array}\right.$$

其中参数 $0\leq\theta\leq1$ 未知. 求 $\theta$ 的矩估计 $\hat{\theta}_M$ 和最大似然估计 $\hat{\theta}_L$.

---

提示：

• $\displaystyle E(X)=\int_{-\infty}^{+\infty} x \cdot f(x ; \theta) \mathrm{d} x$
  
  • $\displaystyle =\int_{0}^{1} x \cdot \theta \mathrm{d} x+\int_{1}^{2} x \cdot(1-\theta) \mathrm{d} x=\frac32-\theta$.
• 令 $\displaystyle \frac32-\theta=\overline{X}$.
• 故 $\theta$ 的矩估计为 $\displaystyle \hat{\theta}_M=\frac32-\overline{X}$.

---

• 令 $k\;(k=0,1,\ldots,n)$ 表示样本值落在 $(0,1)$ 中的次数.
• 似然函数 $\displaystyle L(\theta)=\prod_{i=1}^{n} f\left(x_{i} ; \theta\right)=\theta^{k} \cdot(1-\theta)^{n-k}$.
• 对数似然函数 $\ln L(\theta)=k \cdot \ln \theta+(n-k) \cdot \ln (1-\theta)$.
• 令 $\displaystyle \frac{\mathrm{d} \ln L(\theta)}{\mathrm{d} \theta}=0$，即 $\displaystyle \frac{k}{\theta}-\frac{n-k}{1-\theta}=0$.
• 由此解得 $\theta$ 的最大似然估计为 $\displaystyle \hat{\theta}_L=\frac{k}{n}$.

---

例： 设 $X_1,X_2,...,X_n$ 为来自某总体的样本，该总体的分布律为

$$\begin{array}{rcl} P\{X=-1\}&=&\theta^2\\ P\{X=0\}&=&2\theta(1-\theta)\\ P\{X=1\}&=&(1-\theta)^2 \end{array}$$

求 $\theta$ 的矩估计 $\hat{\theta}_M$ 和最大似然估计 $\hat{\theta}_L$.

---

提示：

• $E(X)=(-1)\theta^2+(1-\theta)^2=1-2\theta$.
• 令 $E(X)=\overline{X}$.
• 则$\theta$ 的矩估计为 $\displaystyle \theta_M=\frac12\left(1-\overline{X}\right)$.

---

• 令 $k_1,k_2,k_3$ 分别为样本取值等于 $-1,0,1$ 的次数. $(k_1+k_2+k_3=n)$.
• 似然函数 $L(\theta)=2^{k_2}\theta^{2k_1+k_2}(1-\theta)^{k_2+2k_3}$.
• 令 $\displaystyle \frac{\mathrm{d}\ln L(\theta)}{\mathrm{d} \theta}=0$, 解得 $\displaystyle \theta=\frac{2k_1+k_2}{2n}$.
• 注意到, $\displaystyle k_1-k_3=-\sum\limits_{i=1}^nx_i$，故 $\displaystyle 2k_1+k_2=n+k_1-k_3=n-\sum\limits_{i=1}^nx_i$.
• 于是, $\theta$ 的最大似然估计为 $\displaystyle \hat{\theta}_L=\frac12\left(1-\overline{X}\right)$.

---

例： 已知某电子元件的寿命 $X$ 服从参数为 $\theta$ 的指数分布. 随机抽取 $n$ 个样品，进行独立的寿命试验. 当计时达到设定的时间 $T$ 时，统计失效的元件数量. 已知某一次试验结束后，共有 $k$ 个元件失效. 试求 $\theta$ 的最大似然估计.

---

解：

• $\displaystyle f(x;\theta)=\left\{\begin{array}{cc}\frac1{\theta}\mathrm{e}^{-\frac{x}{\theta}}& x\geq 0\\ 0& \mathrm{其他}\end{array}\right.$.
• 定义随机变量 $Y=\left\{\begin{array}{ll}1,& \text{元件寿命大于 }T\\ 0,&\text{其他}\end{array}\right.$.
• $\displaystyle P\{Y=1\}=P\{X\leq T\}=\int_{0}^{T}\frac1{\theta}\mathrm{e}^{-\frac x{\theta}}\mathrm{d}x=1-\mathrm{e}^{-\frac T{\theta}}$.
• $\displaystyle P\{Y=0\}=1-P\{X=1\}=\mathrm{e}^{-\frac T{\theta}}$.

---

• 似然函数 $\displaystyle L(\theta)=\left(1-\mathrm{e}^{-\frac T{\theta}}\right)^k\left(\mathrm{e}^{-\frac T{\theta}}\right)^{n-k}$.
• 对数似然函数 $\displaystyle \frac{\mathrm{d}\ln L(\theta)}{\mathrm{d}\theta}=\frac{T}{\theta^2}\left(n-k-\frac{k\mathrm{e}^{-\frac T{\theta}}}{1-\mathrm{e}^{-\frac T{\theta}}}\right)$.
• 令 $\displaystyle \frac{\mathrm{d}\ln L(\theta)}{\mathrm{d}\theta}=0$.
• 求得 $\theta$ 的极大似然估计为 $\displaystyle \hat{\theta}=\frac{T}{\ln n-\ln(n-k)}$.

---

Science is the great antidote to the poison of enthusiasm and superstition.
--Adam Smith