概率论与数理统计笔记 第七章 参数估计

概率论与数理统计笔记（计算机专业） 作者：catpub 新浪微博：@catpub

课程：中国大学MOOC浙江大学概率论与数理统计

部分平台可能无法显示公式，若公式显示不正常可以前往知乎或作业部落进行查看

前往知乎查看目录与导航

第44讲 矩估计

• 参数估计的形式
  
  • 点估计
  • 实例：明天的最高温度为12度
  • 区间估计
  • 实例：明天的最高温度在12度-13度之间
• 常用的点估计方法
  
  • 矩估计法
  • 极大似然估计法
• 矩估计法
  
  • 以样本矩估计总体局，以样本矩的函数估计总体矩的函数
  • 其实就是解方程，有几个未知参数就用到第几阶矩，其中未知量是参数，已知量是矩
• 实例
  
  • $X\sim U(a,b)$ 求 $a,b$ 的矩估计量
  • $$\mu_1=E(X)=\frac{a+b}{2},\nu_2=\frac{b-a}{12}$$
  • 解得 $\hat a=\bar X-\sqrt{3B_2},\hat b=\bar X+\sqrt{3B_2}$
  • 提示：其中的 $\mu_1$ 代表一阶原点矩，$\nu_2$ 代表二阶中心矩，$\bar X$ 代表样本一阶原点矩（均值），$B_2$ 代表样本二阶中心矩（方差）
• 矩估计有随意性，估计方式符合实际即可。但注意，如估计正态分布的方差时，方差的矩估计不是样本方差，而是样本的二阶中心矩

第45讲 极大似然估计

• 似然函数
  
  • 离散型
  • $$L(\theta)=\prod_{i=1}^{n}p(x_i;\theta)$$
  • 连续型
  • $$L(\theta)=\prod_{i=1}^nf(x_i;\theta)$$
• 极大似然原理
  
  • $$L(\hat\theta(x_1,...,x_n))=\max_{\theta\in\Theta}L(\theta)$$
  • 即令似然函数最大
• 求最大值时可以转为求 $\ln L(\theta)$ 的最大值，求极值时也可以利用导数。若似然函数是单调的，则根据实际情况取值
• 实例
  
  • $X\sim N(\mu,\sigma^2),\quad\hat\mu=\bar X,\quad\hat\sigma^2=B_2$
  • 即正态分布的矩估计和极大似然估计结果完全一样
  • $X\sim U(a,b),\quad\hat a=\min\{X_1,...,X_n\},\quad\hat b=\max\{X_1,...,X_n\}$
• 注意：矩估计和极大似然估计是两种完全不同的估计方法，极大似然估计需要知道分布，而矩估计不需要知道

第46讲 估计量的评价准则，无偏性

• 常用的评价准则
  
  • 无偏性准则
  • 有效性准则
  • 均方误差准则
  • 相合性准则
• 无偏性
  
  • 即 $E(\hat\theta)=\theta$
  • 即没有系统误差
• 渐进无偏
  
  • $$\lim_{n\to+\infty}E(\hat\theta)=\theta$$
• 实例
  
  • 设 $E(X)=\mu,\quad D(X)=\sigma^2$
  • $$E(B_2)=\frac{n-1}{n}\sigma^2$$
  • $\bar X,S^2$ 是无偏估计，$B_2$ 是渐进无偏估计
  • 设 $X\sim U(0,\theta)$
  • 矩估计无偏
  • 极大似然估计有偏
• 纠偏方法
  
  • 如果有偏结果和真正的结果之间有函数关系，则使用反函数即可纠偏
  • 这也是第六章中提及的样本方差前面是 $$\frac{1}{n-1}$$ 的原因

第47讲 有效性，均方误差

• 有效性准则
  
  • 设 $\hat\theta_1,\hat\theta_2$ 是 $\theta$ 的两个无偏估计。如果 $D(\hat\theta_1)\leq D(\hat\theta_2)$ 对一切 $\theta\in\Theta$ 成立，则称 $\hat\theta_1$ 比 $\hat\theta_2$ 有效
• 均方误差准则
  
  • $E(\hat\theta-\theta)^2$
  • 记为 $Mse(\hat\theta)$
  • 注意：若 $\hat\theta$ 是 $\theta$ 的无偏估计，则有 $Mse(\hat\theta)=D(\hat\theta)$

第48讲 相合性（一致性）

• 相合性准则
  
  • $\hat\theta_n\xrightarrow{P}\theta$ （依概率收敛）
  • 则称 $\hat\theta_n$ 是 $\theta$ 的相合估计量或一致估计量
• 实例
  
  • 随机取一个样本作为期望的估计不是相合估计
  • 设总体 $X\sim Y[0,\theta]$，证明

第49讲 置信区间，置信限

• 置信区间
  
  • 若有两个统计量 $\hat\theta_L=\hat\theta_L(X_1,...,X_n),\quad\hat\theta_U=\hat\theta_U(X_1,...,X_n)$ 使得 $P\{\hat\theta_L(X_1,...,X_n)<\theta<\hat\theta_U(X_1,...,X_2)\}\geq 1-\alpha$ 则称 $(\hat\theta_L,\hat\theta_U)$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的双侧置信区间。
• 置信区间的意义
  
  • 反复抽样多次，每个样本值确定一个置信区间，每个这样的区间包含 $\theta$ 真值的比例约为 $1-\alpha$
  • 提示：对于一个具体的区间而言，或者包含真值，或者不包含真值，无概率可言。
• 单侧置信区间
  
  • 如果 $P\{\hat\theta_L(X_1,...,X_n)<\theta\}\geq 1-\alpha$ 则称 $\hat\theta_L$ 为单侧置信下限，反之为置信上限
• 单侧置信区间和双侧置信区间的关系
  
  • 设 $\hat\theta_L$ 是 $\theta$ 的置信水平为 $1-\alpha_1$ 的单侧置信下限
  • 设 $\hat\theta_U$ 是 $\theta$ 的置信水平为 $1-\alpha_2$ 的单侧置信下限
  • 则 $(\hat\theta_L,\hat\theta_U)$ 是 $\theta$ 的置信度为 $1-\alpha_1-\alpha_2​$ 的双侧置信区间
• 精确度和误差限
  
  • 称置信区间的平均长度 $E(\hat\theta_U-\hat\theta_L)$ 为精确度。在给定的样本容量下，置信水平越高，精确度越低。精确度高，置信水平越低
• Neyman 原则
  
  • 在置信水平相同的情况下选择精确度尽可能高的置信区间

第50讲 枢轴量法

• 枢轴量法
  
  • $\hat\theta_L<\theta<\hat\theta_U$
  • $G$ 的分布是已知的且不依赖于任何未知参数，也不依赖于总体的分布。称 $G$ 是枢轴量
  • 直观理解：理解枢轴量可以抛开总体，它应用于估计某个参数之上，因此只需要考虑估计正确的可能性。它和总体没有关系，把待估参数 $\theta$ 理解为一个单独的随机变量即可。
• 正态总体下常见的枢轴量
  
  • 提示：以下公式的证明在第六章后两个小节
  • 单个正态总体
  • $\mu$ （$\sigma^2$ 已知）
    
    • $$\frac{\bar X-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$$
  • $\mu$ （$\sigma^2$ 未知）
    
    • $$\frac{\bar X-\mu}{S/\sqrt{n}}\sim t(n-1)$$
  • $\sigma^2$（$\mu$ 未知）
    
    • $$\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$$
  • 二个正态总体
  • $\mu_1-\mu_2$（$\sigma_1^2,\sigma_2^2$ 已知）
    
    • $$\frac{(\bar X-\bar Y)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)​$$
  • $\mu_1-\mu_2$（$\sigma_1^2=\sigma_2^2$ 且未知）
    
    • $$\frac{(\bar X-\bar Y)-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{2}{n_2}}}\sim t(n_1+n_2-2)$$
    • 其中 $$S_W^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$
  • $\sigma_1^2/\sigma_2^2$（$\mu_1,\mu_2$ 未知）
    
    • $$\frac{S_1^2}{S_2^2}\Big/\frac{\sigma_1^2}{\sigma_2^2}\sim F(n_1-1,n_2-1)$$

第51讲 单个正态总体均值的区间估计

• $\sigma^2$ 已知
  
  • $$(\bar X-\frac{\sigma}{\sqrt{n}}z_{\alpha/2},\bar X+\frac{\sigma}{\sqrt{n}}z_{\alpha/2})$$
  • 单侧置信下限为 $$\bar X-\frac{\sigma}{\sqrt{n}}z_\alpha$$
  • 单侧置信上限为 $$\bar X+\frac{\sigma}{\sqrt{n}}z_\alpha$$
• $\sigma^2$ 未知
  
  • $$(\bar X-\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1))<\mu<\bar X+\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1)$$
  • 单侧置信下限为 $$\bar X-\frac{S}{\sqrt{n}}t_\alpha(n-1)​$$
  • 单侧置信上限为 $$\bar X+\frac{S}{\sqrt{n}}t_\alpha(n-1)$$
• 非正态总体均值
  
  • 当 $n$ 充分大 （一般为 $n>30$）时，有中心极限定理
  • $$\frac{\bar X-\mu}{\sigma/\sqrt{n}}\sim^{近似}N(0,1)$$

第52讲 成对数据均值差，单个正态总体方差的区间估计

• 成对数据差
  
  • $D_i=X_i-Y_i$
• 估计 $\mu_D$
  
  • $$(\bar D\pm t_{\alpha/2}(n-1)\frac{S_D}{\sqrt{n}})$$
• 估计 $\sigma^2$
  
  • $$\Big(\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)},\frac{(n-1)S^2)}{\chi_{1-\alpha/2}(n-1)}\Big)$$
  • 单侧置信下限
  • $$\frac{(n-1)S^2}{\chi_{\alpha}^2(n-1)}$$
  • 单侧置信下限
  • $$\frac{(n-1)S^2}{\chi_{1-\alpha}^2(n-1)}$$
  • 注意：上述置信区间不是最优解，但为了计算方便采用上述区间。

第53讲 两个正态总体参数的区间估计

• $\mu_1-\mu_2$（$\sigma_1^2,\sigma_2^2$ 已知）
  
  • $$\Big((\bar X-\bar Y)\pm z_{\frac{\alpha}{2}}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}\Big)$$
• $\mu_1-\mu_2$（$\sigma_1^2=\sigma_2^2$ 且未知）
  
  • $$\Big((\bar X-\bar Y)\pm t_{\frac{\alpha}{2}}(n_1+n_2-2)S_W\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}\Big)$$
  • 其中 $$S_W^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$
• $\mu_1-\mu_2$（$\sigma_1^2,\sigma_2^2$ 未知且样本量较大）
  
  • 可以用 $S_1^2$ 和 $S_2^2$ 估计 $\sigma_1^2$ 和 $\sigma_2^2$
  • $$\Big((\bar X-\bar Y)\pm z_{\frac{\alpha}{2}}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}\Big)$$
• $\mu_1-\mu_2$（$\sigma_1^2,\sigma_2^2$ 未知且样本量较小）
  
  • $$\frac{(\bar X-\bar Y)-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\sim^{近似}t(k)$$
  • 其中 $k\approx(n_1-1,n_2-1)$
  • 则置信区间为
  • $$\Big((\bar X-\bar Y)\pm t_{\frac{\alpha}{2}}(k)\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}\Big)$$
• $\sigma_1^2/\sigma_2^2$（$\mu_1,\mu_2$ 未知）
  
  • $$\Big(\frac{S_1^2}{S_2^2}\frac{1}{F_{\frac{\alpha}{2}}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\frac{\alpha}{2}}(n_1-1,n_2-1)}\Big)$$
• 提示：以上求解时并没有直接求置信区间的最小值而是近似的去除两端取中间

本章最后修订时间：2017.12.12 如有错误欢迎前往知乎指正