6.1 样本与抽样分布

高等工程数学 讲义 2024AU

---

---

第二部分 数理统计与数据分析

---

数理统计

数理统计学的任务，统而言之，是如何获得样本（观察或试验结果）和利用样本，以对事物的某些未知方面进行分析、推断以至作出一定的决策.
-- 陈希孺，《高等数理统计学》[1]

• 试验设计(Experimental Design)、抽样调查(Sampling Survey) 研究如何收集样本.
• 统计推断(Statistical Inference) 在已有样本的情况下进行统计分析.

---

第二部分主要内容

1. 抽样分布
2. 参数估计
   
   • 矩估计
   • 极大似然估计
   • Bayes 估计 *
   • 区间估计 *
3. 假设检验
   
   • 正态总体参数的假设检验
   • 非参数假设检验
4. 数据分析
   
   • 单因子方差分析
   • 主成分分析
   • 多元线性回归

---

6.1 样本与抽样分布

---

6.1.1 数理统计的基本概念

• 总体 (Population)：研究对象的全体.
  
  • 数理统计中的总体通常是指：满足某个分布的随机变量的全体.
  • 例如：总体 $X\sim N(\mu,\sigma^2)$ 或 总体 $N(\mu,\sigma^2)$ 或 总体 $X$ [2].
• 个体 (Individual)： 组成总体的每一个考察对象.
  
  • 例如：某个服从 $N(\mu,\sigma^2)$ 的随机变量 $X_1$.
  • 随机变量 (Random Variable，简写 rv)： 被研究对象的数量指标.
• 分布函数（CDF）：$F(x)=P\{X\leq x\}$.
• 样本 (Sample)：所有被抽取的个体（随机变量）所组成的集合.

---

设随机变量 $X\sim F(x)$，若 $X_1,X_2,\ldots,X_n$ 相互独立，且与 $X$ 同分布[3]，则称

$$X_1,X_2,\ldots,X_n$$

为来自总体 $X$ 的 简单随机样本(Simple Random Sample，简称 随机样本)，称 $n$ 为 样本容量(Sample Size).

• 样本的二重性 (Dualism of Sample)
  
  1. 试验前，样本是独立同分布的随机变量 $\bbox[yellow]{X_1,X_2,\ldots,X_n}$.
  2. 试验后，样本是确定的数据（样本观测值，Sample Observation） $\bbox[lightgreen]{x_1,x_2,\ldots,x_n}$.

---

例 为了考察某种器件的寿命，从一批产品中随机抽取 $8$ 件产品进行了寿命试验，得到试验结果如下：

$$8.3,\; 7.7,\; 8.6,\; 8.0,\;8.6,\;7.7,\;8.6,\;8.0$$

• 样本容量 $n=8$.
• 二重性：
  
  • 样本 $\bbox[yellow]{X_1,X_2,\ldots,X_8}$ 是独立同分布的随机变量.
  • 样本观测值：$\bbox[lightgreen]{8.3, 7.7, 8.6, 8.0,8.6,7.7,8.6,8.0}$.
• 统计推断问题的基本构成要素：总体及其分布、样本容量、样本观测值.

---

样本的联合分布

设 $X_1,X_2,\ldots,X_n$ 是来自总体 $F(x)$ 的简单随机样本

• $X_1,X_2,\ldots,X_n$ 的 联合分布(函数) (Joint CDF)
  
  • $F\left(x_{1}, x_{2}, \cdots, x_{n}\right)$
    
    • $=P\left\{X_{1} \leq x_{1}, X_{2} \leq x, \cdots, X_{n} \leq x_{n}\right\}$
    • $=P\left\{X_{1} \leq x_{1}\right\} P\left\{X_{2} \leq x_{2}\right\} \cdots P\left\{X_{n} \leq x_{n}\right\}$
    • $=F\left(x_{1}\right) F\left(x_{2}\right) \cdots F\left(x_{n}\right)$
    • $=\prod\limits_{i=1}^nF(x_i)$

---

6.1.2 统计量及其分布

设 $X_1, X_2, ..., X_n$ 是来自总体 $F(x)$ 的简单随机样本，若 $g(x_1, x_2, ..., x_n)$ 是 $n$ 元连续函数，且不含任何未知参数，则称随机变量

$$g(X_1,X_2,\ldots,X_n)$$

为 统计量 (Statistics).

• 统计量是样本的函数.
• 统计量的分布称为 抽样分布 (Sample Distribution).

---

例 设 $X_1, X_2, ..., X_n$ 是来自总体 $N(\mu,\sigma^2)$ 的简单随机样本，其中 $\mu,\sigma^2$ 均未知，则下列随机变量中哪些是统计量？

$X_i$, $\dfrac1n\sum\limits_{i=1}^nX_i$, $\dfrac1n\sum\limits_{i=1}^n(X_i-\mu)^2$, $\dfrac1n\sum\limits_{i=1}^n\left(\dfrac{X_i}{\sigma}\right)^2$, $\max\limits_{1\leq i\leq n}\left\{X_i\right\}$

注： 尽管统计量的取值不依赖于未知参数，但是它的分布一般还是依赖于未知参数的.

---

常用的统计量

1. 样本均值(Sample Mean) $\overline{X} \triangleq \dfrac{1}{n} \sum\limits_{i=1}^{n} X_{i}$
2. 样本方差(Sample Variance) $S^{2} \triangleq \dfrac{1}{n} \sum\limits_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}=\dfrac{1}{n}\sum\limits_{i=1}^nX_i^2-\overline{X}^2$
3. 样本标准差(Sample Standard Deviation) $S\triangleq\sqrt{S^{2}}$
4. 修正的样本方差(Modify Sample Variance)
   
   • $\tilde{S}^{2} \triangleq \dfrac{1}{n-1} \sum\limits_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}$

---

• 样本 k 阶(原点)矩 (k-th Moment of the Sample) $A_k\triangleq\dfrac{1}{n}\sum\limits_{i=1}^nX_i^k,\;\;k=1,2,...$
• 样本 k 阶中心矩 (k-th Central Moment of the Sample) $B_k\triangleq\dfrac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^k,\;\;k=1,2,...$
• 样本偏度 (Sample Skewness) $\hat{\beta}_s\triangleq\dfrac{B_3}{B_2^{3/2}}$
  
  • 反映样本数据相对于对称状态的偏离程度和偏离方向
• 样本峰度 (Sample Kurtosis) $\hat{\beta}_k\triangleq\dfrac{B_4}{B_2^2}-3$
  
  • 反映总体分布密度曲线在其峰值附近的陡峭程度和尾部粗细

---

• 样本极小值(Minima of the Sample) $X_{(1)} \triangleq \min \left\{X_{1}, X_{2}, \cdots, X_{n}\right\}$
• 样本极大值(Maxima of the Sample) $X_{(n)} \triangleq \max \left\{X_{1}, X_{2}, \cdots, X_{n}\right\}$
• 第 k 个次序统计量(k-th Order Statistics) $X_{(k)}$ 表示从小到大的第 $k$ 个值对应的随机变量
• 样本极差(Sample Limit Error) $R_n\triangleq X_{(n)}-X_{(1)}$
• 样本中值(Sample Median) $M_{0.5}=\left\{\begin{array}{ll}X_{\left(\frac{n+1}{2}\right)} & n\text{为奇数}\\ \dfrac{1}{2}\left[X_{\left(\frac{n}{2}\right)}+X_{\left(\frac{n}{2}+1\right)}\right] & n\text{为偶数}\end{array}\right.$

---

样本均值

$$\overline{X} \triangleq \frac{1}{n} \sum_{i=1}^{n} X_{i}$$

• 偏差 (Deviation)：数据与均值之差，$X_i-\overline{X}$.
• 定理： 样本的总偏差之和为零，即 $\sum\limits_{i=1}^n(X_i-\overline{X})=0$.
• 定理： 数据观测值与均值的偏差平方和最小.
  
  • 即：在形如 $\sum\limits_{i=1}^n(X_i-c)^2$ 的函数中，$\sum\limits_{i=1}^n(X_i-\overline{X})^2$ 最小.

---

提示： 对任意 $c\in\mathbb{R}$,

$$\begin{aligned} \sum\limits_{i=1}^n&(X_i-c)^2=\sum\limits_{i=1}^n\left[(X_i-\overline{X})+(\overline{X}-c)\right]^2\\ &=\sum\limits_{i=1}^n(X_i-\overline{X})^2+n(\overline{X}-c)^2+2(\overline{X}-c)\sum\limits_{i=1}^n(X_i-\overline{X})\\ &=\sum\limits_{i=1}^n(X_i-\overline{X})^2+n(\overline{X}-c)^2\\ &\geq \sum\limits_{i=1}^n(X_i-\overline{X})^2 \end{aligned}$$

---

中心极限定理

定理 设 $X_1,X_2,...,X_n$ 是来自某个总体的随机样本，$\overline{X}$ 为样本均值.

1. 若总体分布为 $N(\mu,\sigma^2)$，则 $\overline{X}$ 的精确分布为 $N(\mu,\sigma^2/n)$.
2. 若总体分布未知或不是正态分布，总体均值 $\mu$ 和总体方差 $\sigma^2$ 均存在，则当 $n$ 较大时 $\overline{X}$ 的渐进分布为 $N(\mu,\sigma^2/n)$.

---

例[4] 当样本容量 $n=30$ 时，

1. 若 $X^{(1)}\sim U(1,5)$，则
   
   • $\overline{X^{(1)}}$ 近似服从 $N(3,0.21^2)$
2. 若 $X^{(2)}$ 的密度函数为 $f(x)=\left\{\begin{array}{ll}(3-x)/4 & 1\leq x<3\\ (x-3)/4 & 3\leq 3\leq 5\\ 0 & \text{其他}\end{array}\right.$
   
   • $\overline{X^{(2)}}$ 近似服从 $N(3,0.26^2)$
3. 若 $X^{(3)}\sim\mathrm{Exp}(1)$，则
   
   • $\overline{X^{(3)}}$ 近似服从 $N(1,0.18^2)$

---

样本方差与样本标准差

$$S^2=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2=\frac{1}{n}\sum\limits_{i=1}^nX_i^2-\overline{X}^2$$

• 定理[5] 设总体的均值 $\mu$ 的方差 $\sigma^2$ 均存在，$X_1,X_2,...,X_n$ 为来自该总体的简单随机样本，则
  
  1. $E(\overline{X})=\mu$，$D(\overline{X})=\sigma^2/n$.
  2. $E\left(S^{2}\right)=\dfrac{n-1}{n} \sigma^{2}$，$E\left(\tilde{S}^{2}\right)=\sigma^{2}$.

---

次序统计量

定理[6] 设总体 $X$ 的密度函数和分布函数分别为 $f(x)$ 和 $F(x)$，且 $X_1,X_2,...,X_n$ 为来自 $X$ 的简单随机样本，则从小到大排列的第 $k$ 个次序统计量 $X_{(k)}$ 的密度函数为

$$f_k(x)=k\binom{n}{k}\left[F(x)\right]^{k-1}[1-F(x)]^{n-k}f(x).$$

---

样本分位数

样本 $p$ 分位数 (Quantile)：

$$M_p=\left\{\begin{array}{ll}X_{([np+1])} & np \text{不是整数}\\ \frac{1}{2}\left(X_{(np)}+X_{(np+1)}\right) & np \text{是整数}\end{array}\right.$$

• 定理 设总体密度为 $f(x)$, $X_p$ 为其 $p$ 分位数，且 $f(x)$ 在 $x_p$ 处连续且 $f(x_p)>0$，则当 $n\to\infty$ 时，$M_p$ 的渐进分布为 $N\left(x_p,\dfrac{p(1-p)}{nf^2(x_p)}\right)$.

---

一些相关的计算公式

• 记 $\overline{X}_n=\dfrac{1}{n}\sum\limits_{i=1}^nX_i$，则
  
  • $\overline{X}_{n+1}=\overline{X}_n+\dfrac{1}{n+1}(X_{n+1}-\overline{X}_n)$
  • $\tilde{S}_{n+1}^2=\dfrac{n-1}{n}\tilde{S}_n^2+\dfrac{1}{n+1}(X_{n+1}-\overline{X}_n)^2$
• 记 $\overline{Y}_n=\dfrac{1}{n}\sum\limits_{i=1}^nY_i$，则
  
  • $\sum\limits_{i=1}^n(X_i-c)(Y_i-d)=\sum\limits_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})+n(\overline{X}-c)(\overline{Y}-d)$

---

• 抽取两个容量分别为 $n,m$ 的样本，样本均值分别为 $\overline{X^{(1)}},\overline{X^{(2)}}$，修正的样本方差分别为 $\tilde{S}_1^2,\tilde{S}_2^2$
  
  • $\tilde{S}^2=\dfrac{1}{n^2}\sum\limits_{i<j} (X_i-X_j)^2$
  • $\overline{X}=\dfrac{n\overline{X^{(1)}}+m\overline{X^{(2)}}}{n+m}$
  • $\tilde{S}^2=\dfrac{n\tilde{S}_1^2+m\tilde{S}_2^2}{n+m-1}+\dfrac{nm\left(\overline{X^{(1)}}-\overline{X^{(2)}}\right)^2}{(n+m)(n+m+1)}$
• 设总体的四阶中心矩 $\nu_4=E[X-E(X)]^4$ 存在，$\sigma^2$ 为总体方差，则
  
  • $D(\tilde{S}^2)=\dfrac{n(\nu_4-\sigma^3)}{(n-1)^2}-\dfrac{2(\nu_4-2\sigma^4)}{(n-1)^2}+\dfrac{\nu_4-3\sigma^4}{n(n-1)^2}.$

---

6.1.3 抽样分布与抽样分布定理

---

常用的抽样分布

1. 正态分布(Normal Distribution) $N(\mu,\sigma^2)$
2. $\chi^2$-分布 $\chi^2(n)$
3. t-分布 $t(n)$
4. F-分布 $F(n_1,n_2)$

---

常用分布一：卡方分布

设 $X_1, X_2, ..., X_n$ 是来自总体 $N(0,1)$ 的简单随机样本，称随机变量

$$\chi^{2} \triangleq \sum_{i=1}^{n} X_{i}^{2}$$

服从 自由度(Degree of Freedom) 为 $n$ 的 $\chi^2$-分布 (Chi-Square Distribution)，记为 $\chi^2\sim\chi^2(n)$.

---

正态分布的基本性质

1. 正态分布随机向量的任意线性变换仍为正态随机向量，即：正态性在线性变换之下保持不变.
2. 利用线性变换可以将任何正态分布化为标准正态分布，即：若 $X\sim N(\mu,\sigma^2)$，则 $Y=\dfrac{X-\mu}{\sigma}\sim N(0,1)$.
3. 若 $X\sim N(0,1)$，则
   
   • $E\left(X^{k}\right)=\left\{\begin{array}{ll}{\prod\limits_{i=1}^{m}(2 i-1)} & {k=2 m} \\ {0} & {k=2 m-1}\end{array}\right.$

---

卡方分布的密度函数（PDF）

$$f(x)=\left\{\begin{array}{ll}{\frac{1}{2^{n / 2} \Gamma(n / 2)} x^{\frac{n}{2}-1} \mathrm{e}^{-\frac{x}{2}},} & {x>0} \\ {0,} & {x \leq 0}\end{array}\right.$$

• $\chi^2$-分布是一种特殊的 $\Gamma$-分布：
  
  • $\chi^2(n)$ 相当于 $\Gamma\left(\dfrac{n}{2},2\right)$
• $\Gamma(\alpha,\beta)$ 的密度函数
  
  • $f(x;\alpha,\beta)=\dfrac{x^{\alpha-1}\mathrm{e}^{-x/\beta}}{\beta^{\alpha}\Gamma(\alpha)}I_{[0,\infty)}(x).$

---

关于 Γ-函数[7]

1. $\Gamma(x)=\displaystyle\int_{0}^{+\infty}t^{x-1}e^{-t}\mathrm{d}t$
2. $\bbox[lightgreen]{\Gamma(x+1)=x\Gamma(x)}$
3. $\bbox[lightgreen]{\Gamma(n)=(n-1)!}$
   
   • $\Gamma$-函数也叫 Euler 第二积分，是阶乘在实数与复数域上的扩展
4. $\Gamma\left(\dfrac12\right)=\sqrt{\pi}$
5. $\Gamma(x+1)=\lim\limits_{n\to\infty}\dfrac{n!n^x}{\prod_{m=1}^{n}(x+m)}$

---

$\Gamma$-函数在复平面上的图像

---

基本性质：卡方分布

1. 若 $\chi^{2} \sim \chi^{2}(n)$，则
   
   • $E\left(\chi^{2}\right)=n$.
   • $D\left(\chi^{2}\right)=2 n$.
2. 若 $\chi_{1}^{2} \sim \chi^{2}(n), \chi_{2}^{2} \sim \chi^{2}(m)$，且 $\chi_1^2$ 与 $\chi_2^2$ 相互独立，则 $\chi_{1}^{2}+\chi_{2}^{2} \sim \chi^{2}(m+n)$.
   
   • 注意： 已知 $\chi_1^2\sim\chi^2(m)$，$\chi_2^2\sim\chi^2(m+n)$，不一定能推出 $\chi_2^2-\chi_1^2\sim\chi^2(n)$.

---

性质2的证明：

• 设 $X_1,X_2,...,X_m$ 独立同分布，服从 $\sim N(0,1)$，故 $\sum\limits_{i=1}^mX_i^2\sim\chi^2(m)$.
• 于是 $\chi_1^2$ 与 $\sum\limits_{i=1}^mX_i^2$ 同分布，记为 $\chi_1^2\stackrel{d}{=}\sum\limits_{i=1}^mX_i^2.$
• 同理，存在 $Y_1,Y_2,...,Y_n$ 独立同分布，服从 $N(0,1)$，且与 $X_1,X_2,...,X_m$ 相互独立，则 $\chi_2^2\stackrel{d}{=}\sum\limits_{j=1}^nY_j^2.$

---

• $\chi_1^2$ 与 $\chi_2^2$ 相互独立，则其联合分布函数为其边缘分布函数的乘积.
• $\sum\limits_{i=1}^mX_i^2$ 与 $\sum\limits_{j=1}^nY_j^2$ 相互独立，其联合分布函数为其边缘分布函数的乘积.
• 显然以上两个联合分布函数相同，故有 $(\chi_1^2,\chi_2^2)\stackrel{d}{=}\left(\sum\limits_{i=1}^mX_i^2,\sum\limits_{j=1}^nY_i^2\right)$
• 进而可得 $\chi_1^2+\chi_2^2\stackrel{d}{=}\sum\limits_{i=1}^mX_i^2+\sum\limits_{j=1}^nY_i^2\sim\chi^2(m+n)$.

---

例 设 $X_i\sim N(0,1)\;(i=1,2,3,4)$ 相互独立，求如下统计量的分布：

$$\frac12 \left(X_1-X_2\right)^2+\frac12 \left(X_3+X_4\right)^2.$$

• 提示：$E\left(\dfrac{X_1-X_2}{\sqrt2}\right)=0$, $D\left(\dfrac{X_1-X_2}{\sqrt2}\right)=1$.
• $\frac{X_1-X_2}{\sqrt2}$ 服从正态分布，故 $\dfrac{X_1-X_2}{\sqrt2}\sim N(0,1)$.
• 同理 $\dfrac{X_3+X_4}{\sqrt2}\sim N(0,1)$.
• 由 $\chi^2$-分布的定义,
• $\dfrac12 \left(X_1-X_2\right)^2+\dfrac12 \left(X_3+X_4\right)^2=\left(\dfrac{X_1-X_2}{\sqrt2}\right)^2+\left(\dfrac{X_3+X_4}{\sqrt2}\right)^2\sim\chi^2(2).$

---

History of Chi-Square Distribution[^6]

• $\chi^2$ distribution was first described by the German statistician Friedrich Robert Helmert (1843-1917) in papers of 1875–6,where he computed the sampling distribution of the sample variance of a normal population.
• In German this was traditionally known as the Helmert'sche ("Helmertian") or "Helmert distribution".
• The distribution was independently rediscovered by the English mathematician Karl Pearson (1857-1936) in the context of goodness of fit, for which he developed his Pearson's chi-square test, published in 1900, with computed table of values published.
• The name "chi-square" ultimately derives from Pearson's shorthand for the exponent in a multivariate normal distribution with the Greek letter Chi.
• The idea of a family of "chi-square distributions", however, is not due to Pearson but arose as a further development due to Fisher in the 1920s.

---

抽样分布定理一：抽样分布基本定理

定理 设 $X_1, X_2, ..., X_n$ 是来自 $N(\mu,\sigma^2)$ 的简单随机样本，则

1. $\overline{X} \sim N\left(\mu, \dfrac{\sigma^{2}}{n}\right)$.
2. $\sum\limits_{i=1}^n\left(\dfrac{X_i-\overline{X}}{\sigma}\right)^2=\dfrac{n S^{2}}{\sigma^{2}}=\dfrac{(n-1) \tilde{S}^{2}}{\sigma^{2}} \sim \chi^{2}(n-1)$.
3. $\overline{X}$ 与 $S^2$ (以及 $\tilde{S}^2$) 相互独立.

---

证明概要： 记 $Z_i=\dfrac{X_i-\mu}{\sigma}$，$\overline{Z}=\dfrac{1}{n}\sum\limits_{i=1}^nZ_i$，于是

• $\dfrac{nS^2}{\sigma^2}=\sum\limits_{i=1}^n\left(\dfrac{X_i-\overline{X}}{\sigma}\right)^2=\sum\limits_{i=1}^nZ_i^2-n\overline{Z}^2=\dfrac{n-1}{n}\sum\limits_{i=1}^nZ_i^2-\dfrac{2}{n}\sum\limits_{i<j}Z_iZ_j$
  
  • $=\boldsymbol{Z}^{\mathrm{T}}\left[\begin{array}{cccc}\dfrac{n-1}{n} & -\dfrac{1}{n} & ... & -\dfrac{1}{n}\\ -\dfrac{1}{n} & \dfrac{n-1}{n} & ... & -\dfrac{1}{n}\\ \vdots & \vdots & & \vdots \\ -\dfrac{1}{n} & -\dfrac{1}{n} & ... & \dfrac{n-1}{n}\end{array}\right]\boldsymbol{Z}=\boldsymbol{Z}^{\mathrm{T}}\boldsymbol{B}\boldsymbol{Z}$.

---

• 可以验证，$|\boldsymbol{B}|=0$，且 $\boldsymbol{B}$ 的 $n-1$ 阶顺序主子式大于 $0$，故 $\mathrm{rank}(\boldsymbol{B})=n-1$.
• 可以验证， $\boldsymbol{B}^2=\boldsymbol{B}$，即 $\boldsymbol{B}$ 为幂等阵，故 $\boldsymbol{B}$ 的特征值只能为 $1$ 或 $0$.
• 进而可知存在正交阵 $\boldsymbol{P}$，使得 $\boldsymbol{P}^{\mathrm{T}}\boldsymbol{BP}=\mathrm{diag}\{1,...,1,0\}.$
• 令 $\boldsymbol{Y}=\boldsymbol{P}^{\mathrm{T}}\boldsymbol{Z}$，则
  
  • $\dfrac{nS^2}{\sigma^2}=\boldsymbol{Z}^{\mathrm{T}}\boldsymbol{B}\boldsymbol{Z}=\boldsymbol{Z}^{\mathrm{T}}\boldsymbol{P}\mathrm{diag}\{1,...,1,0\}\boldsymbol{P}^{\mathrm{T}}\boldsymbol{Z}$
    
    • $=\boldsymbol{Y}^{\mathrm{T}}\mathrm{diag}\{1,...,1,0\}\boldsymbol{Y}=\sum\limits_{i=1}^{n-1}Y_i^2$.

---

• 注意到 $\boldsymbol{Y}$ 的每个分量 $Y_i$ 均为相互独立的正态随机变量的线性组合，故其必服从正态分布.
• 又 $E(\boldsymbol{Y})=E(\boldsymbol{P}^{\mathrm{T}}\boldsymbol{Z})=\boldsymbol{P}^{\mathrm{T}}E(\boldsymbol{Z})=\boldsymbol{0}$.
• $D(\boldsymbol{Y})=\mathrm{Cov}(\boldsymbol{Y},\boldsymbol{Y})=E\left\{[\boldsymbol{Y}-E(\boldsymbol{Y})][\boldsymbol{Y}^{\mathrm{T}}-E(\boldsymbol{Y}^{\mathrm{T}})]\right\}$
  
  • $=E(\boldsymbol{Y}\boldsymbol{Y}^{\mathrm{T}})=E(\boldsymbol{P}^{\mathrm{T}}\boldsymbol{Z}\boldsymbol{Z}^{\mathrm{T}}\boldsymbol{P})=\boldsymbol{P}^{\mathrm{T}}E(\boldsymbol{Z}\boldsymbol{Z}^{\mathrm{T}})\boldsymbol{P}$
  • $=\boldsymbol{P}^{\mathrm{T}}\mathrm{Cov}(\boldsymbol{Z},\boldsymbol{Z})\boldsymbol{P}=\boldsymbol{P}^{\mathrm{T}}\boldsymbol{IP}=\boldsymbol{I}$.
• 由此可知 $\boldsymbol{Y}$ 的各分量均相互独立且服从 $N(0,1)$，
• 进而可知 $\dfrac{nS^2}{\sigma^2}=\sum\limits_{i=1}^{n-1}Y_i^2\sim\chi^2(n-1)$.

---

• 可以验证 $\boldsymbol{P}_n=\dfrac{1}{\sqrt{n}}[1\;\;1\;...\;1]^{\mathrm{T}}$ 是 $\boldsymbol{B}$ 与特征值 $0$ 对应的单位特征向量.
• $\boldsymbol{P}$ 的列向量均为 $\boldsymbol{B}$ 的单位特征向量，故 $\boldsymbol{P}_n$ 恰好为其最后一列，
• 于是 $Y_n=\boldsymbol{P}_n^{\mathrm{T}}\boldsymbol{Z}=\dfrac{1}{\sqrt{n}}\sum\limits_{i=1}^nZ_i=\dfrac{1}{\sqrt{n}}n\overline{Z}=\sqrt{n}\dfrac{\overline{X}-\mu}{\sigma}$.
• 因为 $Y_n$ 与 $Y_1,Y_2,...,Y_{n-1}$ 相互独立，故 $\overline{X}=\dfrac{\sigma}{\sqrt{n}}Y_n+\mu$ 与 $S^2=\dfrac{\sigma^2}{n}(Y_1^2+Y_2^+...+Y_{n-1}^2)$ 相互独立.

---

抽样分布基本定理的现实意义

1. $\overline{X} \sim N\left(\mu, \dfrac{\sigma^{2}}{n}\right)$.
   
   • 随着样本容量的增加，$\overline{X}$ 与 $\mu$ 的总偏差将越来越小
   • 或者说：大量重复试验有助于提高均值的估计精度.
2. $\overline{X}$ 与 $S^2$ (以及 $\tilde{S}^2$) 相互独立.
   
   • 样本均值和样本方差（以及修正的样本方差）之间相互独立，
   • 或者说：总体均值和方差可以分别进行估计.

---

如何避免噪声淹没速度？

• 利用测速雷达连续测量飞机相对的径向速率，进而解算出飞机的速度
• 受电、磁、气象干扰等各种噪声影响，数据存在明显的抖动
• 在低速情况下，真实的速度往往会被噪声“淹没”
• 为了尽可能消除噪声的影响，一般需要采用“窗口平滑”的方法
  
  • $X_i\leftarrow \dfrac{1}{2n+1}\sum\limits_{j=-n}^nX_{i+j}$

---

常用分布二：t-分布

设 $X\sim N(0,1)$，$Y\sim\chi^2(n)$，$X$ 与 $Y$ 相互独立，则称随机变量

$$t \triangleq \frac{X}{\sqrt{Y / n}}$$

服从自由度为 $n$ 的 t-分布，记为 $t\sim t(n)$.

• 思考： 设 $X_1,X_2\sim N(0,1)$ 且相互独立，$\dfrac{X_1}{X_2}\sim t(1)$ 吗？
  
  • 错！应该是 $\dfrac{X_1}{|X_2|}\sim t(1)$.

---

t-分布的密度函数

$$f(x)=\frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n \pi} \Gamma(n / 2)}\left(1+\frac{x^{2}}{n}\right)^{-\frac{n+1}{2}},\;(-\infty<x<\infty)$$

• 随着 $n$ 的增大，$t(n)$ 的概率密度越来越接近于 $N(0,1)$.

---

History of t-Distribution[8]

• In statistics, the t-distribution was first derived as a posterior distribution in 1876 by Helmert and Lüroth. The t-distribution also appeared in a more general form as Pearson Type IV distribution in Karl Pearson's 1895 paper.
• In the English-language literature the distribution takes its name from William Sealy Gosset (1876-1937)'s 1908 paper in Biometrika under the pseudonym "Student".
• Gosset's paper refers to the distribution as the "frequency distribution of standard deviations of samples drawn from a normal population".
• It became well known through the work of Ronald Fisher, who called the distribution "Student's distribution" and represented the test value with the letter t.

---

抽样分布定理二

定理 设 $X_1, X_2, ..., X_n$ 是来自正态总体 $X\sim N(\mu,\sigma^2)$ 的简单随机样本，则

$$\frac{\overline{X}-\mu}{S / \sqrt{n-1}} \sim t(n-1).$$

• 注意和 $\dfrac{\overline{X}-\mu}{\sigma / \sqrt{n}} \sim N(0,1)$ 比较.

---

抽样分布定理三

定理 设 $X_1, X_2, ..., X_n$ 是来自正态总体 $N(\mu_1,\sigma^2)$ 的简单随机样本，$Y_1, Y_2, ..., Y_m$ 是来自正态总体 $N(\mu_2,\sigma^2)$ 的简单随机样本，且两组样本相互独立，则

$$\frac{(\overline{X}-\overline{Y})-\left(\mu_{1}-\mu_{2}\right)}{S_{\omega} \sqrt{\frac{1}{n}+\frac{1}{m}}} \sim t(m+n-2),$$

其中 $S_{\omega}^{2}=\dfrac{n S_{1}^{2}+m S_{2}^{2}}{m+n-2}$, $S_1,S_2$ 分别为两组样本对应的样本方差.

---

常用分布三：F-分布

设 $X\sim\chi^2(m)$，$Y\sim\chi^2(n)$，$X,Y$ 相互独立，则称随机变量

$$F \triangleq \frac{X / m}{Y / n}$$

服从自由度为 $(m,n)$ 的 F-分布.

• 记为 $F\sim F(m,n)$.
• 显然，若 $F\sim F(m,n)$，则 $F^{-1}\sim F(n,m)$.

---

F-分布的密度函数

$$f(x)=\left\{\begin{array}{cl}{\frac{\Gamma\left(\frac{m+n}{2}\right)}{\Gamma(m / 2) \Gamma(n / 2)} m^{\frac{n}{2}} \frac{n}{(m x+n)^{\frac{m+n}{2}}},} & {x>0} \\ {0,} & {x \leq 0}\end{array}\right.$$

---

Histroy of F-Distribution[9]

• The F-distribution, also known as Snedecor's F distribution or the Fisher–Snedecor distribution (after Ronald Fisher(1890-1962) and George W. Snedecor(1881-1974))
• arises frequently as the null distribution of a test statistic, most notably in the analysis of variance (ANOVA), e.g., F-test.

---

抽样分布定理四

定理 设 $X_1, X_2, ..., X_n$ 是来自正态总体 $N(\mu_1,\sigma_1^2)$ 的简单随机样本，$Y_1, Y_2, ..., Y_m$ 是来自正态总体 $N(\mu_2,\sigma_2^2)$ 的简单随机样本，且两组样本相互独立. $\overline{X}, \overline{Y}, \tilde{S}_{1}^{2},\tilde{S}_{2}^{2}$ 分别表示两样本的样本均值和修正样本方差，则有

$$\frac{\tilde{S}_{1}^{2} / \sigma_{1}^{2}}{\tilde{S}_{2}^{2} / \sigma_{2}^{2}} \sim F(n-1, m-1).$$

---

分位点

设 $X$ 是连续型随机变量，其密度函数为 $f(x)$，对任意给定的 $\alpha(0<\alpha<1)$，必存在唯一的一个实数 $x_{\alpha}$ 使得

$$P\left\{X \leq x_{\alpha}\right\}=\int_{-\infty}^{x_{\alpha}} f(x) \mathrm{d} x=\alpha$$

称 $x_{\alpha}$ 为分布 $f(x)$ 的 $\alpha$ 分位点(Percentiles)，或 分位数.

---

常用的分位点符号

1. 标准正态分布 $N(0,1)$ 的 $\alpha$ 分位点记为 $u_{\alpha}$.
   
   • $u_{\alpha}=-u_{1-\alpha}$.
2. $t(n)$ 的 $\alpha$ 分位点记为 $t_{\alpha}(n)$.
   
   • $t_{\alpha}(n)=-t_{1-\alpha}(n)$.
3. $\chi^2(n)$ 的 $\alpha$ 分位点记为 $\chi^2_{\alpha}(n)$.
4. $F(m,n)$ 的 $\alpha$ 分位点记为 $F_{\alpha}(m,n)$.
   
   • $F_{\alpha}(m, n)=\dfrac{1}{F_{1-\alpha}(n, m)}$.

---

例 设 $X_1, X_2, ..., X_{10}$ 是来自正态总体 $N(0,4)$ 的简单随机样本，试确定常数 $C$，使得

$$P\left\{\sum_{i=1}^{10} X_{i}^{2}>C\right\}=0.05.$$

---

解：

• $X_{i}\sim N(0,4)$，故 $Y=\dfrac{X_i}2\sim N(0,1)$, $(i=1,2,\ldots,10)$.
• 进而 $\sum\limits_{i=1}^{10} X_{i}^{2}=4\sum\limits_{i=1}^{10} Y_{i}^{2}\sim\chi^2(10)$.
• $0.05=P\left\{\sum\limits_{i=1}^{10} X_{i}^{2}>C\right\}=P\left\{\sum\limits_{i=1}^{10} Y_{i}^{2}>C/4\right\}=1-P\left\{\sum\limits_{i=1}^{10} Y_{i}^{2}\leq C/4\right\}$.
• 于是 $P\left\{\sum\limits_{i=1}^{10} Y_{i}^{2}\leq C/4\right\}=0.95$.
• 由此可知 $C/4=\chi^2_{0.95}(10)$.
• 查表可得
  
  • $C/4=\chi^2_{0.95}(10)\approx 18.307$.
• 故 $C\approx 73.228.$

---

例 设 $X_1, X_2, X_3, X_4$ 是来自总体 $X\sim N(\mu,\sigma^2)$ 的样本，已知 $c$ 是非零常数，试确定如下统计量的分布，并求出常数 $c$.

$$c \frac{X_{1}-X_{2}}{\left|X_{3}-X_{4}\right|}.$$

---

提示：

• $X_1-X_2\sim N(0,2\sigma^2),X_3-X_4\sim N(0,2\sigma^2)$.
• 于是 $\dfrac{X_1-X_2}{\sqrt2\sigma}\sim N(0,1)$，$\dfrac{X_3-X_4}{\sqrt2\sigma}\sim N(0,1)$.
• 进而 $\dfrac{|X_3-X_4|^2}{2\sigma^2}\sim\chi^2(1)$.
• 从而 $\dfrac{\frac{X_1-X_2}{\sqrt2\sigma}}{\sqrt{\frac{|X_3-X_4|^2}{2\sigma^2}}}=\dfrac{X_1-X_2}{|X_3-X_4|}\sim t(1)$.
• 进而可知 $c=\pm 1$.

---

三大抽样分布的密度函数及其数字特征

---

补充例题

例 $X_1,X_2,X_3,X_4$ 为来自总体 $N(\mu,\sigma^2)$ 的简单随机样本. 求 $\dfrac{X_1-X_2}{|X_3-X_4|}$ 的分布.

• 提示：$X_1-X_2\sim N(0,2\sigma^2),\; X_3-X_4\sim N(0,2\sigma^2)$,
• 于是 $\dfrac{X_1-X_2}{\sqrt2\sigma}\sim N(0,1)$，$\dfrac{X_3-X_4}{\sqrt2\sigma}\sim N(0,1)$.
• 进而 $\dfrac{|X_3-X_4|^2}{2\sigma^2}\sim\chi^2(1)$.
• 综上 $\dfrac{\frac{X_1-X_2}{\sqrt2\sigma}}{\sqrt{\frac{|X_3-X_4|^2}{2\sigma^2}}}=\dfrac{X_1-X_2}{|X_3-X_4|}\sim t(1)$..

---

例 设 $X_1,X_2,\ldots,X_5$ 是独立同分布的 $N(0,1)$ 随机变量. 若

$$d\frac{X_1+X_2}{\sqrt{X_3^2+X_4^2+X_5^2}}\sim t(n),$$

则

• $n=\underline{\hspace{10cm}}$
• $d=\underline{\hspace{10cm}}$

---

例 设 $X_1,X_2,...,X_9$ 和 $Y_1,Y_2,\ldots,Y_9$ 为总体 $N(0,\sigma^2)$ 的两个独立的随机样本，且

$$\frac{X_1+X_2+\ldots+X_9}{\sqrt{Y_1^2+Y_2^2+\ldots+Y_9^2}}\sim t(n)$$

则

• $n=\underline{\hspace{10cm}}$
• $\sigma=\underline{\hspace{10cm}}$

---

例 设 $X_1, X_2, ..., X_n, X_{n+1}$ 是来自正态总体 $X\sim N(\mu,\sigma^2)$ 的简单随机样本，记

$$\overline{X}_{n}=\frac{1}{n} \sum_{i=1}^{n} X_{i}, \quad S_{n}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\overline{X}_{n}\right)^{2}.$$

证明：$\sqrt{\dfrac{n-1}{n+1}} \dfrac{X_{n+1}-\overline{X}_{n}}{S_{n}} \sim t(n-1)$.

---

提示

• 由正态分布的性质 $X_{n+1}-\overline{X}_{n}$ 必服从正态分布，且
  
  • $E\left(X_{n+1}-\overline{X}_{n}\right)=0$,
  • $D\left(X_{n+1}-\overline{X}_{n}\right)=\sigma^2+\dfrac{\sigma^2}n=\dfrac{n+1}n\sigma^2$,
• 故 $X_{n+1}-\overline{X}_{n}\sim N\left(0,\dfrac{n+1}n\sigma^2\right)$，
• 于是 $\sqrt{\dfrac{n}{n+1}}\dfrac{X_{n+1}-\overline{X}_{n}}{\sigma}\sim N(0,1)$.
• $\overline{X}_n$, $X_{i+1}$, $S^2$ 相互独立，故 $\sqrt{\dfrac{n}{n+1}}\dfrac{X_{n+1}-\overline{X}_{n}}{\sigma}$ 与 $S^2$ 相互独立.

---

• $\sqrt{\dfrac{n}{n+1}}\dfrac{X_{n+1}-\overline{X}_{n}}{\sigma}\sim N(0,1)$.
• 又因为 $\dfrac{nS^2}{\sigma^2}\sim\chi^2(n-1)$，
• 且 $\sqrt{\dfrac{n}{n+1}}\dfrac{X_{n+1}-\overline{X}_{n}}{\sigma}$ 与 $\dfrac{nS^2}{\sigma^2}$ 相互独立，
• 故由 $t$-分布的定义
  
  • $\dfrac{\sqrt{\frac{n}{n+1}}\frac{X_{n+1}-\overline{X}_{n}}{\sigma}}{\sqrt{n\frac{S^2}{\sigma^2}}\big/\sqrt{n-1}}=\sqrt{\dfrac{n-1}{n+1}}\dfrac{X_{n+1}-\overline{X}_{n}}{S}\sim t(n-1).$

---

例 设 $X_1, X_2, ..., X_n$ 是来自总体 $X\sim N(\mu_1,\sigma^2)$ 的简单随机样本，$Y_1, Y_2, ..., Y_m$ 是来自总体 $X\sim N(\mu_2,\sigma^2)$ 的简单随机样本，两组样本相互独立，记

$$\overline{X}=\frac{1}{n} \sum_{i=1}^{n} X_{i}, \quad \tilde{S}_{1}^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2},$$

$$\overline{Y}=\frac{1}{m} \sum_{j=1}^{m} Y_{i}, \quad \tilde{S}_{2}^{2}=\frac{1}{m-1} \sum_{j=1}^{m}\left(Y_{j}-\overline{Y}\right)^{2}.$$

求概率 $P\left\{\tilde{S}_{1}^{2}-4 \tilde{S}_{2}^{2}<0\right\}$.

---

提示

• $\tilde{S}_1^2=\dfrac{n}{n-1}S_1^2=\dfrac{\sigma^2}{n-1}\dfrac{nS_1^2}{\sigma^2}$，而 $\dfrac{nS_1^2}{\sigma^2}\sim\chi^2(n-1)$，故 $\dfrac{(n-1)\tilde{S}_1^2}{\sigma^2}\sim\chi^2(n-1)$.
• 同理 $\dfrac{(m-1)\tilde{S}_2^2}{\sigma^2}\sim\chi^2(m-1)$.
• 由 $F$-分布的定义可知，$\dfrac{\tilde{S}^2_1}{\tilde{S}^2_2}\sim F(n-1,m-1)$.
• $P\left\{\tilde{S}_{1}^{2}-4 \tilde{S}_{2}^{2}<0\right\}=P\left\{\dfrac{\tilde{S}^2_1}{\tilde{S}^2_2}<4\right\}=P\left\{F(n-1,m-1)<4\right\}$.
• 根据 $m,n$ 的取值查表即可.

---

小结

1. 总体与样本
   
   • 样本的二重性
2. 统计量及其分布
   
   • 样本均值、样本方差、修正的样本方差
   • 基本抽样分布
   • 抽样分布定理