7.2 非参数假设检验

高等工程数学 讲义 2024AU

---

---

• 参数假设检验：
  
  • $X_1, X_2, ..., X_n$ 是来自总体 $X\sim F(x;\theta)$ 的样本.
  • 总体分布 $F(x;\theta)$ 的解析表达式已知，但参数 $\theta$ 未知.
  • 通过矩估计、最大似然估计、区间估计以及参数假设检验等方法对 $\theta$ 的取值进行统计推断.
• 新的问题： 若总体分布 $f(x;\theta)$ 的解析表达式未知，
  
  • 有哪些可以进行的统计推断？
  • 如何对总体 $X$ 进行统计推断？

---

常见的非参数假设检验

• 分布拟合检验： 检验某个总体是否服从猜想的分布
• 独立性检验：检验两个总体是否相互独立
• 正态性检验：检验某个总体是否是正态的
• 游程检验：检验二项分布中取值的连贯性
• 符号检验：检验两个总体是否显著不同
• 秩和检验：检验两个总体是否显著不同

---

7.2.1 拟合优度检验

设 $X_1,X_2,\ldots,X_n$ 是来自总体 $X\sim F(x)$ 的简单随机样本，其中 $F(x)$ 未知，要检验假设

$$H_0:F(x)=F_0(x),\quad H_1:F(x)\ne F_0(x).$$

其中 $F_0(x)$ 是已知的.

• 注：若分布 $F_0(x)$ 中含有未知参数，一般先利用最大似然估计给出参数的估计值.

---

函数拟合（Function Fitting）

从函数 $y=f(x)$ 中采样得到 $n$ 个点

$$(x_1,y_1),\;(x_2,y_2),\ldots,(x_n,y_n),$$

找到某个函数 $y=\hat{f}(x)$，使之经过（或靠近）这些点. 在一定条件下，$\hat{f}(x)$ 可以作为 $f(x)$ 的替代使用.

1. 如何 (按什么样的方法) 构造 $\hat{f}(x)$？
2. $\hat{f}(x)$ 和 $f(x)$ 的一致性 (近似程度) 如何度量？
3. 在什么条件下，可以用 $\hat{f}(x)$ 替代 $f(x)$？

---

分布拟合检验问题的一般步骤

1. 数据 $\to$ 频率表：划分区间，统计数字出现的频率，列表表示.
2. 根据频率表，画出 直方图.
3. 结合经验或数据来源特征，猜测 可能的分布，给出待检验的假设.
   
   • 注：若分布中含有未知参数，先利用最大似然估计给出参数的估计值.
4. 进行 拟合优度检验.

---

步骤1：从观测值到频率表

样本观测值

$$\begin{array}{c} 4&1&1&1&2&2&3&6&5&1 & 3& 6& 3& 3& 2 \\ 3& 2& 10& 6& 4 & 3&0&4&3&3&2&3&5&3&3 \end{array}$$

频率表

$$\boxed{\begin{array}{c|cccccccc} \text{取值} & 0 & 1 & 3 & 4 & 5 & 6 & 10\\ \hline \text{频率} & 0.033 & 0.133 & 0.167 & 0.1 & 0.067 & 0.1 & 0.033 \end{array}}$$

---

步骤2：从频率表到直方图

频率表

---

步骤3：从直方图到经验概率函数

1. 推测 $X\sim b(10,\hat{p})$，$\hat{p}=0.29$.
   
   • $P\{X=k\}=\binom{10}{k}\hat{p}^k(1-\hat{p})^{10-k}$，
     
     • $(k=0,1,...,10)$
2. 推测 $X\sim P(\hat{\lambda})$，$\hat{\lambda}=3.4$.
   
   • $P\{X=k\}=\dfrac{1}{k!}\mathrm{e}^{-\hat{\lambda}}$，
     
     • $(k=0,1,2,...)$

---

步骤4：分布拟合检验

例 设 $X_1,X_2,\ldots,X_n$ 是来自离散总体 $X$ 的简单随机样本，总体 $X$ 的分布律未知（$p_i=P\{X=a_i\},\;i=1,2,...,k$ 未知），检验假设

$$\bbox[yellow]{H_0:p_i=\hat{p}_i,\quad H_1:p_i\ne \hat{p}_i,\;(i=1,2,\ldots,k)}$$

其中 $a_i,\hat{p}_i$ 均已知，且 $\sum\limits_{i=1}^{k}\hat{p}_i=1$.

---

分析

• 当原假设 $H_0:p_i=\hat{p}_i,\;(i=1,2,...,k)$ 成立时,
  
  • 由大数定律：对任意的 $i=1,2,...,k$，均有 $\frac{n_{i}}{n}\stackrel{P}{\longrightarrow} p_{i}(n \rightarrow+\infty)$, 或者说 $n_{i} \approx n p_{i}(n \rightarrow+\infty)$.
• 因此，若 $H_0$ 成立，则所有的 $|n_i-n\hat{p}_i|$ 都应偏小，或者说 $\sum\limits_{i=1}^{k}|n_i-n\hat{p}_i|$ 应较小.
• 反之，若 $\sum\limits_{i=1}^{k}|n_i-n\hat{p}_i|$ 较大，则有理由认为 $H_0$ 不成立.

---

• 由以上分析得到拒绝域的形式：
  
  • 当 $\sum\limits_{i=1}^{k}|n_i-n\hat{p}_i|>C$ 时，拒绝 $H_0$；反之，则接受 $H_0$.
• 为了便于计算，上述条件一般改写为 $\bbox[yellow]{\sum\limits_{i=1}^{k}(n_i-n\hat{p}_i)^2>C}$
• 常数 $C$ 由 I 类风险 确定，满足：对给定的 $\alpha\in(0,1)$，
  
  • $\bbox[yellow]{P\left\{\sum\limits_{i=1}^{k}(n_i-n\hat{p}_i)^2>C\bigg|H_0\text{成立}\right\}\leq\alpha}$

---

Pearson 定理

设 $N_i$ 是样本 $X_1,X_2,\ldots,X_n$ 中取值等于 $a_i$ 的频数 $(i=1,2,...,k)$，统计量

$$\bbox[yellow]{\chi^{2}=\sum_{i=1}^{k} \frac{\left(N_{i}-n \hat{p}_{i}\right)^{2}}{n \hat{p}_{i}}}$$

称为 Pearson $\chi^2$ 统计量.

• 定理 在 $H_0:p_i=\hat{p}_i,\;(i=1,...,k)$ 成立的前提下，当 $n\to\infty$ 时，Pearson $\chi^2$ 统计量的极限分布是 $\bbox[yellow]{\chi^2(k-r-1)}$，其中 $r$ 为相关的待估参数个数.

---

注： $k=2,r=0$ 时的证明：

• 已知 $N_1+N_2=n,\;p_1+p_2=1.$
• 当 $H_0$ 成立时，$N_1\sim b(n,p_1),\;N_2\sim b(n,p_2).$
• $\chi^2=\frac{(N_1-np_1)^2}{np_1}+\frac{(N_2-np_2)^2}{np_2}=\frac{(N_1-np_1)^2}{np_1(1-p_1)}.$
• 由中心极限定理, 当 $n$ 充分大时，$\frac{N_1-np_1}{\sqrt{np_1(1-p_1)}}$ 近似服从 $N(0,1)$, 进而可知 $\chi^2$ 近似服从 $\chi^2(1)$.
• Pearson 定理所定义的检验方法称为 Pearson $\chi^2$ 拟合优度检验 (Goodness-of-Fit Test)

---

Pearson $\chi^2$ 拟合优度检验

设 $p_i=P\{X=a_i\}$ 未知，$a_i,\hat{p}_i$ 均已知，$i=1,2,...,k$，且 $\sum\limits_{i=1}^{k}\hat{p}_i=1$.

假设检验问题

$$H_0:p_i=\hat{p}_i, (i=1,2,\ldots,k) ,$$

的拒绝域为

$$\bbox[yellow]{W_1=\left\{(x_1,x_2,...,x_n)\bigg|\sum_{i=1}^{k} \frac{\left(n_{i}-n \hat{p}_{i}\right)^{2}}{n \hat{p}_{i}}>\chi_{1-\alpha}^{2}(k-r-1)\right\}}$$

---

例：Mendel 的豌豆

• 在 19 世纪，Mendel 按颜色与形状把豌豆分为四类：黄圆、绿圆、黄皱和绿皱, 并根据遗传学原理判断这四类的比例应为 $9:3:3:1$.
• 在一次豌豆实验中收获了 $n=556$ 个豌豆，其中这四类豌豆的个数分别为 $315,108,101,32$.
• 该数据是否与 Mendel 提出的比例吻合？

---

分析

• 检验假设：$H_0:p_1=\hat{p}_1=\frac{9}{16},\;p_2=\hat{p}_2=\frac{3}{16},\;p_3=\hat{p}_3=\frac{3}{16},\;p_4=\hat{p}_4=\frac{1}{16}.$
• $n \hat{p}_{1}=312.75,\; n \hat{p}_{2}=n \hat{p}_{3}=104.25, n \hat{p}_{4}=34.75$.
• $\chi^{2}=\frac{(315-312.75)^{2}}{312.75}+\frac{(108-104.25)^{2}}{104.25}+\frac{(101-104.25)^{2}}{104.25}+\frac{(32-34.75)^{2}}{34.75}=0.47$.
• 若取显著水平 $\alpha=0.05$，则 $0.47<7.81=\chi^2_{0.95}(3)$.
• 故没有理由拒绝 $H_0$.
• 结论：抽样数据与 Mendel 的结论吻合得较好.

---

例：抽奖真的公平吗？

• 摇奖方法通常采用将标有 $0$ 到 $9$ 的球注入摇奖机，每次随机摇出一个球，然后放回再进行下一次摇，把摇出的球上的数字组合成对奖号码.
• 但通常总有人对摇奖结果产生质疑.
• 现对摇奖的 13 期中奖号码进行统计，得到各数字出现的频数如下.
  
  • $\begin{array}{c|ccccccccccc}\text{数字} & 0 & 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & \text{合计}\\ \hline \text{频数} & 21 & 28 & 37 & 36 & 31 & 45 & 30 & 37 & 33 & 52 & 350\end{array}$
• 试从统计的角度分析，摇奖结果是否公平? $(\alpha=0.05)$

---

解： 设 $X$ 表示每次摇号摇出的号码.

• 检验假设：$H_0:p_i=P\{X=i\}=\hat{p}_i=0.1,\quad (i=1,2,3,\ldots,10)$.
• 检验统计量：$\displaystyle\chi^{2}=\sum_{i=1}^{k} \frac{\left(N_{i}-n \hat{p}_{i}\right)^{2}}{n \hat{p}_{i}}=\sum_{i=1}^{k} \frac{N_{i}^{2}}{n \hat{p}_{i}}-n=\frac{1}{35} \sum_{i=1}^{10} N_{i}^{2}-350.$
• 拒绝域：$\displaystyle W_1=\left\{(x_1,x_2,...,x_n)\bigg|\chi^{2}=\frac{1}{35} \sum_{i=1}^{10} n_{i}^{2}-350>\chi_{0.95}^{2}(9)\right\}.$
• 计算并查表得：$\displaystyle\chi^{2}=\frac{1}{35} \sum_{i=1}^{10} n_{i}^{2}-350=19.657>\chi_{0.95}^{2}(9)=16.919.$
• 结论：根据所给数据判断应拒绝原假设 $H_0$，即：认为摇奖过程存在一定的问题.

---

注：

• 在实际使用时，当样本容量 $n>50$ 时，通常就认为 $\displaystyle\chi^{2}=\sum_{i=1}^{k} \frac{\left(N_{i}-n \hat{p}_{i}\right)^{2}}{n \hat{p}_{i}} \sim \chi^{2}(k-r-1)$.
• Pearson 统计量的常用计算公式：$\bbox[lightgreen]{\displaystyle\chi^{2}=\sum_{i=1}^{k} \frac{\left(n_{i}-n \hat{p}_{i}\right)^{2}}{n \hat{p}_{i}}=\sum_{i=1}^{k} \frac{n_{i}^{2}}{n \hat{p}_{i}}-n}.$
• 对于连续总体，一般需先进行离散化处理，即将变量的取值范围分割成若干区间，然后统计数据落在其中的频数，转换为离散型的情况进行检验.

---

例：地震发生的规律

• 自 1965 年 1 月 1 日至 1971 年 2 月 9 日共 2231 天中, 全世界记录到里氏震级 4 级和 4 级以上地震共 162 次，统计如下 ($X$ 表示相继两次地震间隔天数，$Y$ 表示出现的频数），
• $\boxed{\begin{array}{c|ccccccccc} X & 0-4 & 5-9 & 10-14 & 15-19 & 20-24 & 25-29 & 30-34 & 35-39 & \geq 40 \\ \hline Y & 50 & 31 & 26 & 17 & 10 & 8 & 6 & 6 & 8\end{array}}$
• 试在显著性水平 $\alpha=0.05$ 之下，检验相继两次地震之间的间隔是否服从指数分布.

---

解： 设 $X$ 的密度函数为 $f(x)$.

• 检验假设：$H_0:f(x)=\left\{\begin{array}{cc}{\dfrac{1}{\theta} \exp\left(-\frac{x}{\theta}\right),} & {x>0}, \\ {0,} & {x \leq 0}.\end{array}\right.$
• 由于参数 $\theta$ 未知，故先使用最大似然估计求得其估计值 $\hat{\theta}=\overline{x}=\frac{2231}{162}=13.77$.
• 若 $H_0$ 为真，$X$ 的分布函数估计为$\hat{F}(x)=\left\{\begin{array}{cc}{1-\exp\left(-\dfrac{x}{13.77}\right),} & {x>0}, \\ {0,} & {x \leq 0}.\end{array}\right.$
• $X$ 为连续型随机变量，将其取值分为互不重叠的子区间 $[a_i,a_{i+1})$，$i=1,2,\ldots.,9$，计算 $X$ 取值在每个区间的理论概率 $\bbox[yellow]{\hat{p}_i=P\{a_i\leq X<a_{i+1}\}=\hat{F}(a_{i+1})-\hat{F}(a_{i})}$.

---

拟合检验计算表

$$\boxed{\begin{array}{c|ccccc} [a_i,a_{i+1}) & \quad n_i\quad & \hat{p}_i & n\hat{p}_i & n_i-n\hat{p}_i & \dfrac{(n_i-n\hat{p}_i)^2}{n\hat{p}_i}\\ \hline [0,4.5) & 50 & 0.2788 & 45.1656 & 4.8344 & 0.51746071 \\ [4.5,9.5) & 31 & 0.2196 & 35.5752 & -4.5752 & 0.58840021\\ [9.5,14.5) & 26 & 0.1527 & 24.7374 & 1.2626 & 0.06444326 \\ [14.5,19.5) & 17 & 0.1062 & 17.2044 & -0.2044 & 0.00242841\\ [19.5,24.5) & 10 & 0.0739 & 11.9718 & -1.9718 & 0.3247628 \\ [24.5,29.5) & 8 & 0.0514 & 8.3268 & -0.3268 & 0.01282584 \\ [29.5,34.5) & 6 & 0.0358 & 5.7996 & 0.2004 & 0.00692464 \\ [34.5,39.5) & 6 & 0.0248 & 4.0176 & 1.9824 & 0.97817348\\ [39.5,\infty) & 8 & 0.0568 & 9.2016 & -1.2016 & 0.15691212\\ \hline &&&& \chi^2=& 2.65233147 \end{array}}$$

---

• 本例中 $k=9,r=1$，计算可得 $\chi^2=2.6523$.
• 查表 $\chi_{1-\alpha}^{2}(k-r-1)$
  
  • $=\chi_{0.95}^{2}(7)=14.067>2.6523$.
• 故在显著性水平 $0.05$ 下，应接受 $H_0$.
• 结论：在显著性水平 $0.05$ 下，由样本推断，两次地震之间的间隔服从指数分布.

---

7.2.2 独立性检验

• 检验两个指标（总体、随机变量）之间是否存在关联?
• 例如：
  
  • 地下水位的变化是否与地震有关?
  • 慢性气管炎是否与吸烟有关?
  • 高血压是否与食盐摄入过多有关?
  • 城市家庭养猫是否与有灭鼠效果?

---

问题描述

设 $(X_1,Y_1),(X_2,Y_2),\ldots,(X_n,Y_n)$ 是来自二维总体 $(X,Y)$，$(X,Y)$ 的分布函数为 $F(x,y)$，$X,Y$ 的边缘分布函数 $F_X(x),F_Y(y)$ 均未知. 检验假设

$$\bbox[yellow]{{H}_{0}: {F}({x}, {y})={F}_{{X}}({x}) {F}_{Y}({y}),\quad (x,y)\in D}$$

• 等价的假设：
  
  • 连续型总体：${H}_{0}: {f}({x}, {y})={f}_{{X}}({x}) {f}_{Y}({y}),\;(x,y)\in D$
  • 离散型总体：${H}_{0}: P\{X=x_i,Y=y_j\}=P\{X=x_i\}P\{Y=y_j\},\;(x_i,y_j)\in D$
    
    • 或 $p_{ij}=p_{i\cdot}p_{\cdot j},\;(x_i,y_j)\in D$

---

思路：

1. 将 $X$ 的取值划分为 $r$ 个区间
   
   • $(-\infty,a_1],(a_1,a_2],(a_2,a_3],\ldots,(a_{r-1},+\infty)$
2. 将 $Y$ 的取值划分为 $s$ 个区间
   
   • $(-\infty,b_1],(b_1,b_2],(b_2,b_3],\ldots,(b_{s-1},+\infty)$
3. 统计样本落在不同区域内的数量 $n_{ij},n_{i\cdot},n_{\cdot j},\;i=1,2,...,r;j=1,2,...,s$.
4. 将计数值转换为频数
   
   • $\hat{p}_{ij}=\dfrac{n_{ij}}{n}$，$\hat{p}_{i\cdot}=\dfrac{n_{i\cdot}}{n}$，$\hat{p}_{\cdot j}=\dfrac{n_{\cdot j}}{n}$，$i=1,2,...,r;\;j=1,2,...,s$.

---

---

频率表

$$\boxed{\begin{array}{c|cccccc|c} Y \backslash X & (-\infty,a_1] & (a_1,a_2] & \cdots & (a_{i-1},a_i] & \cdots & (a_{r-1},+\infty) & \hat{p}_{\cdot j}\\ \hline (-\infty,b_1] & p_{11} & p_{21} & \cdots & p_{i1} & \cdots & p_{r1} & p_{\cdot 1} \\ (b_1,b_2] & p_{12} & p_{22} & \cdots & p_{i2} & \cdots & p_{r2} & p_{\cdot 2} \\ \vdots & \vdots & \vdots & \ddots & \vdots & \ddots & \vdots & \vdots \\ (b_{j-1},b_j] & p_{1j} & p_{2j} & \cdots & p_{ij} & \cdots & p_{rj} & p_{\cdot j} \\ \vdots & \vdots & \vdots & \ddots & \vdots & \ddots & \vdots & \vdots \\ (b_{s-1},+\infty) & p_{1s} & p_{2s} & \cdots & p_{is} & \cdots & p_{rs} & p_{\cdot s} \\ \hline \hat{p}_{i\cdot} & p_{1\cdot} & p_{2\cdot} & \cdots & p_{i\cdot} &\cdots & p_{r\cdot} & 1 \end{array}}$$

---

待检验的假设

$$\bbox[yellow]{{H}_{0}: p_{i j}={p}_{i\cdot} {p}_{\cdot j},\quad(i=1,...,r;\;j=1,...,s)}$$

• 其中理论概率值（均未知）
  
  • $p_{ij}=P\{X\in(a_{i-1},a_i],Y\in(b_{j-1},b_j]\}$，
  • $p_{i\cdot}=P\{X\in(a_{i-1},a_i]\}$，
  • $p_{\cdot j}=P\{Y\in(b_{j-1},b_j]\}$，
  • $i=1,2,...,r;\;j=1,2,...,s$.

---

拒绝域的形式

• $p_{i j}, p_{i\cdot}, p_{\cdot j}$ 的最大似然估计 $\hat{p}_{i j}=\frac{n_{i j}}{n}, \quad \hat{p}_{i\cdot}=\frac{n_{i\cdot}}{n}, \quad \hat{p}_{\cdot j}=\frac{n_{\cdot j}}{n}.$
• $H_0$ 成立时，对 $i=1,...,r;\;j=1,...,s$，总有 $\hat{p}_{i j}=\frac{n_{i j}}{n} \approx \hat{p}_{i \cdot} \hat{p}_{\cdot j}=\frac{n_{i\cdot}}{n} \frac{n_{\cdot j}}{n}$.
• 即 $n_{i j} \approx n \hat{p}_{i \cdot} \hat{p}_{\cdot j}$，因此 $\left|n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right|$ 都应较小，进而 $\displaystyle\sum_{i=1}^{r} \sum_{j=1}^{s}\left|n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right|$ 应较小.
• 反之，当 $\displaystyle\sum_{i=1}^{r} \sum_{j=1}^{s}\left|n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right|$ 较大时，有理由认为原假设不成立.
• 等效的做法，当 $\displaystyle\sum_{i=1}^{r} \sum_{j=1}^{s}\left(n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right)^2$ 较大时，考虑拒绝 $H_0$.

---

独立性检验

定理 对于独立性检验问题

$${H}_{0}: p_{i j}={p}_{i\cdot} {p}_{\cdot j},\quad(i=1,...,r;\;j=1,...,s)$$

当原假设成立时，统计量 $\displaystyle\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{\left(N_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right)^{2}}{n \hat{p}_{i\cdot} \hat{p}_{\cdot j}}$ 的近似分布为 $\chi^2{((r-1)(s-1))}$.

• 拒绝域： $\displaystyle W_1=\left\{((x_1,y_1),...,(x_n,y_n))\bigg|\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{\left(n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right)^{2}}{n \hat{p}_{i\cdot} \hat{p}_{\cdot j}}>\chi_{1-\alpha}^{2}((r-1)(s-1))\right\}.$

---

注: 关于 $\displaystyle\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{\left(n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right)^{2}}{n \hat{p}_{i\cdot} \hat{p}_{\cdot j}}$ 的分布和自由度.

• 独立性检验可以视为一种特殊的分布拟合检验，因此仍使用 Pearson $\chi^2$ 统计量作为检验统计量.
• 待检验的假设共有 $r\cdot s$ 个，用于检验的待估参数 $p_{i\cdot},p_{\cdot j}$ 共有 $r+s$ 个.
• $p_{i\cdot},p_{\cdot j}$ 需要满足归一化条件 $\sum_{i=1}^{r}p_{i\cdot}=\sum_{j=1}^{s}p_{\cdot j}=1$，故实际上独立的参数共有 $r+s-2$ 个.
• 综上，$H_0$ 成立时，Pearson $\chi^2$ 统计量的自由度为 $r\cdot s-(r+s-2)-1=(r-1)(s-1)$.

---

Pearson 统计量的计算公式

• $\displaystyle\chi^2=\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{\left(n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right)^{2}}{n \hat{p}_{i\cdot} \hat{p}_{\cdot j}}=\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{\left(n_{i j}-n \frac{n_{i} .}{n} \frac{n_{\cdot j}}{n}\right)^{2}}{n \frac{n_{i} .}{n} \frac{n_{\cdot j}}{n}}$
  
  • $\displaystyle=n \sum_{i=1}^{r} \sum_{j=1}^{s} \frac{\left(n_{i j}-\frac{n_{i\cdot} n_{\cdot j}}{n}\right)^{2}}{n_{i\cdot} n_{\cdot j}}=n\left(\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{n_{i j}^{2}}{n_{i\cdot} n_{\cdot j}}-1\right)$.

---

例：儿童智商与营养水平的关系

为研究儿童智力发展与营养的关系，某研究机构调查了 1436 名儿童，得到数据如下, 试在显著性水平 $0.05$ 之下，判断智力发展与营养水平有无关系.

$$\boxed{\begin{array}{c|cccc|c} \text{人数} & \text{IQ}<80 & \text{IQ}80-90 & \text{IQ}90-99 & \text{IQ}\geq 100 & 合计 \\ \hline \text{营养良好} & 367 & 342 & 266 & 329 & 1304 \\ \text{营养不良 } & 56 & 40 & 20 & 16 & 132 \\ \hline \text{合计} & 423 & 382 & 286 & 345 & 1436 \end{array}}$$

---

解:

• 用 $A$ 表示营养状况，它有两个水平：$A_1$ 表示营养良好，$A_2$ 表示营养不良.
• $B$ 表示儿童智商，它有四个水平，$B_1, B_2, B_3, B_4$，分别表示表中的四种情况.
• 假设营养状况与智商无关联，即 $A$ 与 $B$ 相互独立.
• 检验假设：$H_0:p_{ij}=p_{i\cdot}p_{\cdot j},\;i=1,2;j=1,2,3,4.$
• 在 $H_0$ 成立的前提下，可以计算出各参数的最大似然估计：
  
  • $\hat{p}_{1\cdot}=0.9081, \quad \hat{p}_{2\cdot} =0.0919,$
  • $\hat{p}_{\cdot 1}=0.2946,\quad \hat{p}_{\cdot 2} =0.2660,\quad \hat{p}_{\cdot 3}=0.1992, \quad \hat{p}_{\cdot 4} =0.2403.$
• 然后进一步算出各 $n\hat{p}_{ij},\;i=1,2;j=1,2,3,4$.

---

$$\boxed{\begin{array}{c|cccc|c} n\hat{p}_{ij} & \text{IQ}<80 & \text{IQ}80-90 & \text{IQ}90-99 & \text{IQ}\geq 100 & \hat{p}_{i\cdot} \\ \hline \text{营养良好} & 384.1677 & 346.8724 & 259.7631 & 313.3588 & 0.9081 \\ \text{营养不良 } & 38.8779 & 35.1036 & 26.2881 & 31.7120 & 0.0919 \\ \hline \hat{p}_{\cdot j} & 0.2946 & 0.2660 & 0.1992 & 0.2403 & 1 \end{array}}$$

• 计算得到 $\chi^2=19.2785>7.815=\chi^2_{0.95}(3)$. 结论：拒绝原假设，认为营养状况对智商有影响.

---

例：抽烟与患慢性支气管炎的关系

为了研究患慢性气管炎与吸烟有无关系，调查了 $339$ 名 $50$ 岁以上的人，统计数据如下表：

$$\boxed{\begin{array}{c|cc|c} \text{人数} & \text{吸烟者} & \text{不吸烟者} & \text{合计}\\ \hline \text{患慢性气管炎} & 43 & 13 & 56 \\ \text{未患病} & 162 & 121 & 283\\ \hline \text{合计} & 205 & 134 & 339 \end{array}}$$

试判断患慢性气管炎是否与吸烟有关? $(\alpha=0.01)$

---

解： 由题意，检验假设

$$H_0: \text{患慢性气管炎与吸烟无关}.$$

• 拒绝域为 $\displaystyle\chi^{2}=n\left(\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{n_{i j}^{2}}{n_{i\cdot} n_{\cdot j}}-1\right)>\chi_{0.99}^{2}(1)=6.635.$
• 计算得到 $\displaystyle\chi^{2}=n\left(\sum_{i=1}^{r} \sum_{j=1}^{s} \frac{n_{i j}^{2}}{n_{i\cdot}n_{ \cdot j}}-1\right)=339(1.022-1)=7.4688.$
• 结论：拒绝原假设，认为患慢性气管炎与吸烟有关.

---

小结

• 非参数假设检验
  
  • 前提：分布类型或分布间的关系不确定
  • 拟合优度检验
    
    • 独立性检验
  • Pearson $\chi^2$ 统计量

---

Pearson 定理的证明思路

• 设 $\boldsymbol{N}=(N_1,N_2,...,N_k)$ 服从参数为 $n$ 和 $\boldsymbol{p}=(p_1,...,p_k)$ 的多项分布，也即：$N_1+N_2+...+N_k=n$，且对任意满足 $\sum\limits_{j=1}^kn_j=n$ 的非负整数 $n_1,n_2,...,n_k$，$P\{N_j=n_j,\;j=1,2,...,k\}=n!\prod\limits_{j=1}^k\dfrac{p_j^{n_j}}{n_j!}$.
• 给定 $\boldsymbol{\hat{p}}=(\hat{p}_1,...,\hat{p}_k)$，需要检验 $H_0: \boldsymbol{p}=\boldsymbol{\hat{p}}$，检验统计量 $\chi^2=\sum\limits_{i=1}^k\frac{(N_{i}-n\hat{p}_i)^2}{n\hat{p}_i}$.

---

• 原假设成立时，$\boldsymbol{N}$ 可视为 $n$ 个服从参数 $1$ 和 $\boldsymbol{\hat{p}}$ 的多项分布随机变量 $\boldsymbol{Y}_i$ 的和，即：$\boldsymbol{N}=\sum\limits_{i=1}^n\boldsymbol{Y}_i$，$\boldsymbol{Y}_i=(Y_{i1},...,Y_{ik})$ 的分量中只有一个等于 $1$，其余均为 $0$.
• 显然 $Y_{ij}\sim b(1,\hat{p}_j)$，故 $E(Y_{ij})=\hat{p}_j$, $D(Y_{ij})=\hat{p}_j(1-\hat{p}_j)$.
• 可以验证 $E(Y_{ij_1}Y_{ij_2})=0,\;(i\ne j)$.
• 故 $\boldsymbol{\Sigma}=D(\boldsymbol{Y}_i)=\begin{bmatrix} \hat{p}_1(1-\hat{p}_1) & -\hat{p}_1\hat{p}_2 & \cdots & -\hat{p}_1\hat{p}_k\\ -\hat{p}_2\hat{p}_1 & \hat{p}_2(1-\hat{p}_2) & \cdots & -\hat{p}_2\hat{p}_k\\ \vdots & \vdots & \ddots & \vdots \\ -\hat{p}_k\hat{p}_1 & -\hat{p}_k\hat{p}_2 & \cdots & \hat{p}_k(1-\hat{p}_k) \end{bmatrix}$

---

• 由中心极限定理 $\boldsymbol{N}-n\boldsymbol{\hat{p}}=\sum_{i=1}^n(\boldsymbol{Y}_i-\boldsymbol{\hat{p}})$ 的渐进分布为 $N(\boldsymbol{0},n\boldsymbol{\Sigma})$.
• 进而 $\frac{1}{\sqrt{n}}\sum_{i=1}^n(\boldsymbol{Y}_i-\boldsymbol{\hat{p}})=\frac{1}{\sqrt{n}}(\boldsymbol{N}-n\boldsymbol{\hat{p}})$ 的渐进分布为 $N(\boldsymbol{0},\boldsymbol{\Sigma})$.
• 令 $\boldsymbol{D}=\mathrm{diag}\left\{\frac{1}{\sqrt{\hat{p}_1}},...,\frac{1}{\sqrt{\hat{p}_k}}\right\}$，记 $\boldsymbol{\Sigma}_0=\boldsymbol{D}\boldsymbol{\Sigma}\boldsymbol{D}^{\mathrm{T}}$.
• 于是 $\boldsymbol{D}\frac{1}{\sqrt{n}}(\boldsymbol{N}-n\boldsymbol{\hat{p}})$ 的渐进分布为 $N(\boldsymbol{0},\boldsymbol{\Sigma}_0)$.

---

• 进一步地，可以验证 $\boldsymbol{\Sigma}_0$ 是秩为 $k-1$ 的对称幂等阵.
• 故可通过正交变换将 $\boldsymbol{D}\frac{1}{\sqrt{n}}(\boldsymbol{X}_n-\boldsymbol{\hat{p}})$ 各分量的平方和 $\displaystyle\chi^2=\sum\limits_{i=1}^k\frac{(N_{i}-n\hat{p}_i)^2}{n\hat{p}_i}=\frac{1}{n}(\boldsymbol{N}-n\boldsymbol{\hat{p}})^{\mathrm{T}}\boldsymbol{D}^2(\boldsymbol{N}-n\boldsymbol{\hat{p}})$ 化为 $k-1$ 个相互独立的近似标准正态随机向量的平方和.
• 进而可知 $\chi^2\sim\chi^2(k-1)$.

---

注：

• $\boldsymbol{\Sigma}=\mathrm{diag}\{\hat{p}_1,...,\hat{p}_k\}-\boldsymbol{\hat{p}}\boldsymbol{\hat{p}}^{\mathrm{T}}$
• 记 $\sqrt{\boldsymbol{\hat{p}}}=(\sqrt{\hat{p}_1},...,\sqrt{\hat{p}_k})$，可以验证
• $\boldsymbol{\Sigma}_0^2=(\boldsymbol{I}_k-\sqrt{\boldsymbol{\hat{p}}}\sqrt{\boldsymbol{\hat{p}}}^{\mathrm{T}})(\boldsymbol{I}_k-\sqrt{\boldsymbol{\hat{p}}}\sqrt{\boldsymbol{\hat{p}}}^{\mathrm{T}})=\boldsymbol{\Sigma}_0$.
• $\boldsymbol{\Sigma}_0$ 的与特征值 $0$ 对应的特征向量为 $\sqrt{\boldsymbol{\hat{p}}}$.
• 对于任意与 $\sqrt{\boldsymbol{\hat{p}}}$ 正交的向量 $\boldsymbol{b}$，总有 $\boldsymbol{\Sigma}_0\boldsymbol{b}=\boldsymbol{b}-\sqrt{\boldsymbol{\hat{p}}}\sqrt{\boldsymbol{\hat{p}}}^{\mathrm{T}}\boldsymbol{b}=\boldsymbol{b}$，即 $\boldsymbol{b}$ 是与特征值 $1$ 对应的特征向量.