@ybtang21c 2024-11-26T05:08:01.000000Z 字数 28274 阅读 6137

8.1 线性回归分析

高等工程数学 讲义 2024AU

8.1.1 回归分析的概念

研究变量与变量之间关系的一种统计方法.
常见的两类关系：
1. 确定性关系 变量之间的数量关系完全确定，可用形如 $y=f(x)$ 的函数加以描述.
2. 相关关系 变量之间存在联系，但无法用确定的函数表示.
  - 例如：身高和体重的关系、作物产量和播种量的关系、智商和营养水平的关系.
变量间的相关关系不能用完全确定的函数形式表示，但在平均意义下可以有一定的定量关系表达式，寻找这种定量关系表达式就是 回归分析(Regression Analysis) 的主要任务.

回归分析的数学描述

本质上就是用某种指定类型的函数来拟合所得到的的数据，以尽可能利用统计的方法消除不完备的观察或不确定因素的影响.
数学描述:
- 设 $y$ 为因变量， $x_1,x_2,\ldots,x_k$ 为自变量.
- 找到 回归函数 $f(x_1,x_2,\ldots,x_k)$ .
- 使得 $y=f(x_1,x_2,\ldots,x_k)+\varepsilon$ .
已知：观测数据，以及干扰因素的大致统计规律.
目的：发现数据背后的支配规律，以对未发生的情况加以预测或控制.

线性回归（Linear Regression）

基本假设：设与之间存在线性关系，即
- $\bbox[lightgreen]{y=\beta_{0}+\beta_{1} x_{1}+\beta_{2} x_{2}+\ldots+\beta_{k} x_{k}+\varepsilon}$
噪声假设：
- $\bbox[yellow]{E(\varepsilon)={0}}$ ，即：其他因素对均值的影响总体上可以忽略不计.
- $\bbox[yellow]{{D}(\varepsilon)=\sigma^{2}}$ ：即：其他因素可能导致的数据波动范围是确定的.
涉及多个自变量和一个因变量的线性回归问题称为 多元线性回归 (MLR, Multiple linear regression)

多元线性回归模型

$\left\{\begin{array}{l}{y_{1}=\beta_{0}+\beta_{1} x_{11}+\beta_{2} x_{12}+\ldots+\beta_{k} x_{1 k}+\varepsilon_{1}} \\ {y_{2}=\beta_{0}+\beta_{1} x_{21}+\beta_{2} x_{22}+\ldots+\beta_{k} x_{2 k}+\varepsilon_{2}} \\ {\quad\cdots \quad\cdots \quad\cdots \quad\cdots \quad\cdots} \\ {y_{n}=\beta_{0}+\beta_{1} x_{n 1}+\beta_{2} x_{n 2}+\ldots+\beta_{k} x_{n k}+\varepsilon_{n}}\end{array}\right.$

已知：
- $y_i$ 和 $x_{ij}\;(i=1,2,\ldots,n,j=1,2,\ldots,k)$ ;
- 随机变量 $\varepsilon_{1}, \varepsilon_{2}, \dots, \varepsilon_{n}$ 相互独立, 且 $E\left(\varepsilon_{i}\right)=0, D\left(\varepsilon_{i}\right)=\sigma^{2}, \; (i=1, 2, \ldots, n)$
求：所有 $\beta_j\;(j=0,1,\ldots,k)$ 的估计值 $\hat{\beta}_j$ .

记 $\boldsymbol{Y}=\left[\begin{array}{c}{y_{1}} \\ {y_{2}} \\ {\vdots} \\ {y_{n}}\end{array}\right], {\boldsymbol{X}}=\left[\begin{array}{cccc}{1} & {x_{11}} & {\cdots} & {x_{1k}} \\ {1} & {x_{21}} & {\cdots} & {x_{2k}} \\ {\vdots} & {\vdots} & {\vdots} & {\vdots} \\ {1} & {x_{n1}} & {\cdots} & {x_{nk}}\end{array}\right], \boldsymbol{\beta}=\left[\begin{array}{c}{\beta_{0}} \\ {\beta_{1}} \\ {\vdots} \\ {{\beta}_{k}}\end{array}\right], \boldsymbol{\varepsilon}=\left[\begin{array}{c}{\varepsilon_{1}} \\ {\varepsilon_{2}} \\ {\vdots} \\ {{\varepsilon}_{n}}\end{array}\right]$

MLR 可表示为 $\bbox[lightgreen]{\left\{\begin{array}{l}{\boldsymbol{Y}={\boldsymbol{X}} \boldsymbol{\beta}+\boldsymbol{\varepsilon}} \\ E(\boldsymbol{\varepsilon})=\boldsymbol{0} \\ D(\boldsymbol{\varepsilon})=\operatorname{Cov}(\boldsymbol{\varepsilon}, \boldsymbol{\varepsilon})=\sigma^{2} \boldsymbol{I}_{n}\end{array}\right.}$
该模型称为 线性回归模型（简称 回归模型），记为 $(\boldsymbol{Y},\boldsymbol{X}\boldsymbol{\beta},\sigma^2\boldsymbol{I}_n)$ .
其中， $\boldsymbol{X}$ 称为 设计矩阵 (Design Matrix)， $\boldsymbol{\beta}$ 称为 回归系数 (Regression Coefficient)

8.1.2 最小二乘估计

若统计量 $\hat{\boldsymbol{\beta}}=\hat{\boldsymbol{\beta}}\left(y_{1}, y_{2}, \cdots, y_{n}\right)$ 满足

$\|\boldsymbol{Y}-{\boldsymbol{X}} \hat{\boldsymbol{\beta}}\|_{2}=\min _{\boldsymbol{\beta} \in \mathbb{R}^{k+1}}\|\boldsymbol{Y}-{\boldsymbol{X}}\boldsymbol{\beta}\|_{2}$

则称 $\hat{\boldsymbol{\beta}}=\hat{\boldsymbol{\beta}}\left(y_{1}, y_{2}, \cdots, y_{n}\right)$ 是 $\boldsymbol{\beta}$ 的 最小二乘估计（Least Squares Estimation, LSE）

最小二乘估计的存在唯一性

定理若 MLR $(\boldsymbol{Y},\boldsymbol{X}\boldsymbol{\beta},\sigma^2\boldsymbol{I}_n)$ 的设计矩阵 $\boldsymbol{X}$ 列满秩，则 $\boldsymbol{\beta}$ 有唯一的最小二乘估计 $\bbox[yellow]{\hat{\boldsymbol{\beta}}=\boldsymbol{L}^{-1} {\boldsymbol{X}}^{\mathrm{T}}\boldsymbol{Y}}$ ，其中 $\bbox[yellow]{\boldsymbol{L}={\boldsymbol{X}}^{\mathrm{T}} {\boldsymbol{X}}}$ .

注：由矩阵 $\boldsymbol{X}$ 列满秩，可以推出 $\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X}$ 可逆.
称方程 $\hat{y}=\hat{\beta}_{0}+\hat{\beta}_{1} x_{1}+\hat{\beta}_{2} x_{2}+\cdots+\hat{\beta}_{k} x_{k}$ 为 经验回归方程 或 回归方程.
方程 ${\boldsymbol{X}}^{\mathrm{T}} {\boldsymbol{X}}\boldsymbol{\beta}={\boldsymbol{X}}^{\mathrm{T}}\boldsymbol{Y}$ 称为 正规方程组 (Normal Equations).
$\hat{\boldsymbol{\beta}}$ 是 $\boldsymbol{\beta}$ 的最小二乘估计，当且仅当 $\hat{\boldsymbol{\beta}}$ 是正规方程组的解.

证明： 1、先证明 $\hat{\boldsymbol{\beta}}=(\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X})^{-1}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{Y}$ 是 MLR 的最小二乘估计.

对任意 $\boldsymbol{\beta}\in\mathbb{R}^{k+1}$ ，
- $=(\boldsymbol{\beta}-\hat{\boldsymbol{\beta}})^{\mathrm{T}}(\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X}(\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X})^{-1}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{Y}-\boldsymbol{X}^{\mathrm{T}}\boldsymbol{Y})=0$ .
也即 $\boldsymbol{X}(\boldsymbol{\beta}-\hat{\boldsymbol{\beta}})\perp\boldsymbol{X}\hat{\boldsymbol{\beta}}-\boldsymbol{Y}$ ，故由勾股定理
- $=\|\boldsymbol{X}(\boldsymbol{\beta}-\hat{\boldsymbol{\beta}})\|_2^2+\|\boldsymbol{X}\hat{\boldsymbol{\beta}}-\boldsymbol{Y}\|_2^2\geq \|\boldsymbol{X}\hat{\boldsymbol{\beta}}-\boldsymbol{Y}\|_2^2$ .

2、再证明最小二乘估计具有唯一性.

设 $\hat{\boldsymbol{\beta}}^*$ 也是 MLR 的最小二乘估计，以下证明 $\hat{\boldsymbol{\beta}}^*=\hat{\boldsymbol{\beta}}$ .
因为 $\hat{\boldsymbol{\beta}}^*$ 和 $\hat{\boldsymbol{\beta}}$ 均为最小二乘估计，故 $\|\boldsymbol{X}\hat{\boldsymbol{\beta}}^*-\boldsymbol{Y}\|_2=\|\boldsymbol{X}\hat{\boldsymbol{\beta}}-\boldsymbol{Y}\|_2$ .
显然，故由勾股定理
- $\|\boldsymbol{X}\hat{\boldsymbol{\beta}}^*-\boldsymbol{Y}\|_2^2=\|\boldsymbol{X}(\hat{\boldsymbol{\beta}}^*-\hat{\boldsymbol{\beta}})\|_2^2+\|\boldsymbol{X}\hat{\boldsymbol{\beta}}-\boldsymbol{Y})\|_2^2$ .
于是可知 $\|\boldsymbol{X}(\hat{\boldsymbol{\beta}}^*-\hat{\boldsymbol{\beta}})\|_2=0$ ，也即 $\boldsymbol{X}(\hat{\boldsymbol{\beta}}^*-\hat{\boldsymbol{\beta}})=\boldsymbol{0}$ .
因为 $\boldsymbol{X}$ 列满秩，方程组 $\boldsymbol{X}\boldsymbol{x}=\boldsymbol{0}$ 只有零解，故 $\hat{\boldsymbol{\beta}}^*-\hat{\boldsymbol{\beta}}=\boldsymbol{0}$ .

例：化工研究

某化工长研究硝化得率 $y$ （ $\%$ ）与硝化温度 $x_1$ （单位：℃），硝化浓度 $x_2$ （ $\%$ ）之间的相关关系，进行了 $10$ 次试验，得到数据如下. 假设 $y$ 与 $x_1,x_2$ 具有线性关系，试求其回归方程.

$\begin{array}{c|cccccccccc} x_{i1} & 16.5 & 19.7 & 15.5 & 21.4 & 20.8 & 16.6 & 23.1 & 14.5 & 21.3 & 16.4 \\ x_{i2} & 93.4 & 90.8 & 86.7 & 83.5 & 92.1 & 94.9 & 89.6 & 88.1 & 87.3 & 83.4 \\ \hline y & 90.92 & 91.13 & 87.95 & 88.57 & 90.44 & 89.87 & 91.03 & 88.03 & 89.93 & 85.58 \end{array}$

解： 设 $y=\beta_{0}+\beta_{1} x_{1}+\beta_{2} x_{2}+\varepsilon$ , 且 $E(\varepsilon)=0, D(\varepsilon)=\sigma^{2}>0$ .

记 $\boldsymbol{Y}=[90.92\;91.13\;87.95\;88.57\;90.44\;89.87\;91.03\;88.03\;89.93\;85.58]^{\mathrm{T}}$ .
$\boldsymbol{X}=\left[\begin{array}{cccccccccc}{1} & {1} & {1} & {1} & {1} & {1} & {1} & {1} & {1} & {1} \\ {16.5} & {19.7} & {15.5} & {21.4} & {20.8} & {16.6} & {23.1} & {14.5} & {21.3} & {16.4} \\ {93.4} & {90.8} & {86.7} & {83.5} & {92.1} & {94.9} & {89.6} & {88.1} & {87.3} & {83.4}\end{array}\right]^{\mathrm{T}}$ ， $\boldsymbol{\beta}=\begin{bmatrix}\beta_0 \\ \beta_1 \\ \beta_2\end{bmatrix}$ .
回归系数的最小二乘解 $\hat{\boldsymbol{\beta}}=\left(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{Y}=\left[\begin{array}{c}{51.7980} \\ {0.3361} \\ {0.3518}\end{array}\right]$ .
所求回归方程 $\hat{y}=51.7980+0.3361 x_{1}+0.3518 x_{2}$ .

误差分析

记 $\hat{\boldsymbol{Y}}={\boldsymbol{X}} \hat{\boldsymbol{\beta}}$ ， $\hat{\boldsymbol{Y}}$ 一般称为 拟合值（Fitting value）、估计(值) （Estimation）或 预测(值)（Prediction）.
称 $\boldsymbol{e}=\boldsymbol{Y}-\hat{\boldsymbol{Y}}$ 为 残差向量 (或 剩余向量，Residual Vector).
记 $\boldsymbol{P}={\boldsymbol{X}}\left({\boldsymbol{X}}^{\mathrm{T}} {\boldsymbol{X}}\right)^{-1} {\boldsymbol{X}}^{\mathrm{T}}$ ，则 $\hat{\boldsymbol{Y}}=\boldsymbol{PY}$ ， $\boldsymbol{e}=(\boldsymbol{I}_n-\boldsymbol{P})\boldsymbol{Y}$ .
可以验证：
1. $\boldsymbol{P},\boldsymbol{I}_n-\boldsymbol{P}$ 都是 对称投影矩阵 (或对称幂等阵).
2. $\boldsymbol{P}\boldsymbol{X}=\boldsymbol{X}$ .
从几何上看， $\boldsymbol{e}\perp\hat{\boldsymbol{Y}}$ .

最小二乘估计的性质

设 MLR $(\boldsymbol{Y},\boldsymbol{X}\boldsymbol{\beta},\sigma^2\boldsymbol{I}_n)$ 中，参数 $\boldsymbol{\beta}$ 的 LSE 为 $\hat{\boldsymbol{\beta}}=\boldsymbol{L}^{-1} {\boldsymbol{X}}^{\mathrm{T}} \boldsymbol{Y}.$

性质1 $\hat{\boldsymbol{\beta}}$ 是 $\boldsymbol{\beta}$ 的线性无偏估计，且 $D(\hat{\boldsymbol{\beta}})=\sigma^{2} \boldsymbol{L}^{-1}$ .
证明：
- $=\boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{X} \boldsymbol{\beta}=\boldsymbol{L}^{-1} \boldsymbol{L} \boldsymbol{\beta}=\boldsymbol{\beta}.$
- $=\boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}} \operatorname{Cov}(\boldsymbol{Y}, \boldsymbol{Y}) \boldsymbol{X} \boldsymbol{L}^{-1}=\boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}} \operatorname{Cov}(\boldsymbol{\varepsilon}, \boldsymbol{\varepsilon}) \boldsymbol{X} \boldsymbol{L}^{-1}$
- $=\sigma^{2} \boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{X} \boldsymbol{L}^{-1}=\sigma^{2} \boldsymbol{L}^{-1}.$

附注：协方差阵的性质

设 $\boldsymbol{\boldsymbol{X}},\boldsymbol{Y}$ 均为 $n$ 维随机变量

$\mathrm{Cov}(\boldsymbol{\boldsymbol{X}},\boldsymbol{Y})=\left[\mathrm{Cov}(X_i,Y_j)\right]_{n\times n}=E\left[(\boldsymbol{\boldsymbol{X}}-E(\boldsymbol{\boldsymbol{X}}))(\boldsymbol{Y}-E(\boldsymbol{Y}))^{\mathrm{T}}\right]$
$\mathrm{Cov}(\boldsymbol{\boldsymbol{X}},\boldsymbol{Y})=\mathrm{Cov}(\boldsymbol{Y},\boldsymbol{\boldsymbol{X}})^{\mathrm{T}}$
$\mathrm{Cov}(\boldsymbol{b},\boldsymbol{Y})=\boldsymbol{O}\quad(\boldsymbol{b}\in\mathbb{R}^n)$
$\mathrm{Cov}(\boldsymbol{\boldsymbol{X}}+\boldsymbol{Z},\boldsymbol{Y})=\mathrm{Cov}(\boldsymbol{\boldsymbol{X}},\boldsymbol{Y})+\mathrm{Cov}(\boldsymbol{Z},\boldsymbol{Y})$
$\bbox[lightgreen]{\mathrm{Cov}(\boldsymbol{A}\boldsymbol{\boldsymbol{X}},\boldsymbol{B}\boldsymbol{Y})=\boldsymbol{A}\mathrm{Cov}(\boldsymbol{\boldsymbol{X}},\boldsymbol{Y})\boldsymbol{B}^{\mathrm{T}}}$

附注：协方差阵的性质 (续)

记 $D(\boldsymbol{\boldsymbol{X}})=\mathrm{Cov}(\boldsymbol{\boldsymbol{X}},\boldsymbol{\boldsymbol{X}})$ ，则

对任意 $m\times n$ 阶矩阵 $\boldsymbol{P}$ ， $\bbox[lightgreen]{D(\boldsymbol{P}\boldsymbol{\boldsymbol{X}})=\boldsymbol{P}D(\boldsymbol{\boldsymbol{X}})\boldsymbol{P}^{\mathrm{T}}}$ .
是半正定阵.
- 证明： 对任意非零向量 $\boldsymbol{c}\in\mathbb{R}^n$ ，
- $\boldsymbol{c}^{\mathrm{T}}\boldsymbol{X}$ 为一维随机变量，其方差 $D(\boldsymbol{c}^{\mathrm{T}}\boldsymbol{X})\geq 0$ .
- 于是 $\boldsymbol{c}^{\mathrm{T}}D(\boldsymbol{X})\boldsymbol{c}=D(\boldsymbol{c}^{\mathrm{T}}\boldsymbol{X})\geq 0$ .

性质2 残差向量 $\boldsymbol{e}=\boldsymbol{Y}-\hat{\boldsymbol{Y}}$ 满足

$E(\boldsymbol{e})=\boldsymbol{0}$ .
$D(\boldsymbol{e})=\sigma^{2}\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right)$ .
$\operatorname{Cov}(\hat{\boldsymbol{\beta}}, \boldsymbol{e})=\boldsymbol{O}$ .
- 提示：
- - $=\boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}} \operatorname{Cov}(\boldsymbol{Y}, \boldsymbol{Y})\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right)$
  - $=\sigma^{2} \boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}}\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right)=\sigma^{2} \boldsymbol{L}^{-1}\left(\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right) \boldsymbol{X}\right)^{\mathrm{T}}=\boldsymbol{O}$

性质3 记 $Q_{\boldsymbol{e}}=\|\boldsymbol{e}\|_{2}^{2}$ ，则 $E\left(Q_{e}\right)=(n-k-1) \sigma^{2}$ .

证明：
- $=\mathrm{tr}(D(\boldsymbol{e}))=\mathrm{tr}(\sigma^2(\boldsymbol{I}_n-\boldsymbol{P}))$
- $=\sigma^2(\mathrm{tr}(\boldsymbol{I}_n)-\mathrm{tr}(\boldsymbol{P}))=\sigma^2(n-\mathrm{tr}(\boldsymbol{X}\boldsymbol{L}^{-1}\boldsymbol{X}^{\mathrm{T}}))$
- $=\sigma^2(n-\mathrm{tr}(\boldsymbol{L}^{-1}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X}))=\sigma^2(n-\mathrm{tr}(\boldsymbol{I}_{k+1}))=(n-k-1)\sigma^2$
$Q_{\boldsymbol{e}}$ 称为 残差平方和 (Residual Sum of Squares).
$\hat{\sigma}^2_{\boldsymbol{e}}=\frac{Q_{\boldsymbol{e}}}{n-k-1}$ 称为 剩余方差 (Residual Variance).
以上性质说明， $\hat{\sigma}^2_{\boldsymbol{e}}$ 是 $\sigma^2$ 的无偏估计.

性质4 对任意 $\boldsymbol{c}\in\mathbb{R}^{k+1}$ ， $\boldsymbol{c}^{\mathrm{T}} \hat{\boldsymbol{\beta}}$ 是 $\boldsymbol{c}^{\mathrm{T}} {\boldsymbol{\beta}}$ 的 最小方差线性无偏估计（Best Linear Unbiased Estimator，BLUE）.

证明： $\boldsymbol{c}^{\mathrm{T}} \hat{\boldsymbol{\beta}}=\boldsymbol{c}^{\mathrm{T}}\boldsymbol{L}^{-1}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{Y}$ 是 $\boldsymbol{Y}$ 的线性函数，
且 $E(\boldsymbol{c}^{\mathrm{T}} \hat{\boldsymbol{\beta}})=\boldsymbol{c}^{\mathrm{T}}E( \hat{\boldsymbol{\beta}})=\boldsymbol{c}^{\mathrm{T}}\boldsymbol{L}^{-1}\boldsymbol{X}^{\mathrm{T}}E(\boldsymbol{Y})=\boldsymbol{c}^{\mathrm{T}}\boldsymbol{L}^{-1}\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X\beta}=\boldsymbol{c}^{\mathrm{T}}\boldsymbol{\beta}$ ，
故 $\boldsymbol{c}^{\mathrm{T}} \hat{\boldsymbol{\beta}}$ 是 $\boldsymbol{c}^{\mathrm{T}}\boldsymbol{\beta}$ 的线性无偏估计.
以下证明 $\boldsymbol{c}^{\mathrm{T}} \hat{\boldsymbol{\beta}}$ 的方差最小性. 即对任意 $\boldsymbol{a}\in\mathbb{R}^{k+1}$ ，若 $E(\boldsymbol{a}^{\mathrm{T}}\boldsymbol{Y})=\boldsymbol{c}^{\mathrm{T}}\boldsymbol{\beta}$ ，则必有 $D(\boldsymbol{c}^{\mathrm{T}}\hat{\boldsymbol{\beta}})\leq D(\boldsymbol{a}^{\mathrm{T}}\boldsymbol{Y})$ .
注意到 $E\left(\boldsymbol{a}^{\mathrm{T}} \boldsymbol{Y}\right)=\boldsymbol{a}^{\mathrm{T}} E(\boldsymbol{Y})=\boldsymbol{a}^{\mathrm{T}} \boldsymbol{X} \boldsymbol{\beta}=\boldsymbol{c}^{\mathrm{T}} \boldsymbol{\beta}$ ，
上式对任意的 $\boldsymbol{\beta}$ 成立，故必有 $\boldsymbol{a}^{\mathrm{T}} \boldsymbol{X}=\boldsymbol{c}^{\mathrm{T}}$ .

- $=\boldsymbol{a}^{\mathrm{T}} \operatorname{Cov}(\boldsymbol{Y}, \boldsymbol{Y}) \boldsymbol{a}-\boldsymbol{c}^{\mathrm{T}} \operatorname{Cov}(\hat{\boldsymbol{\beta}}, \hat{\boldsymbol{\beta}}) \boldsymbol{c}$
- $=\sigma^{2}\left(\boldsymbol{a}^{\mathrm{T}} \boldsymbol{a}-\boldsymbol{a}^{\mathrm{T}} \boldsymbol{X} \boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{a}\right)$
- $=\sigma^{2} \boldsymbol{a}^{\mathrm{T}}\left(\boldsymbol{I}_{n}-\boldsymbol{X} \boldsymbol{L}^{-1} \boldsymbol{X}^{\mathrm{T}}\right) \boldsymbol{a}$
- $=\sigma^{2} \boldsymbol{a}^{\mathrm{T}}\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right) \boldsymbol{a}$
- $=\boldsymbol{a}^{\mathrm{T}} D(\boldsymbol{e})\boldsymbol{a}\geq 0$ .

正态线性回归模型

线性回归模型 $(\boldsymbol{Y},\boldsymbol{X}\boldsymbol{\beta},\sigma^2\boldsymbol{I}_n)$ 中，若 $\boldsymbol{\varepsilon} \sim N\left(\boldsymbol{0}, \sigma^{2} \boldsymbol{I}_{n}\right)$ ，则称该模型是一个 正态线性回归模型.

性质5 在正态线性回归模型中，
1. $\boldsymbol{\beta}$ 的最大似然估计就是其最小二乘估计.
2. $\hat{\boldsymbol{\beta}}$ 与 $\boldsymbol{e}$ 相互独立，进而 $\hat{\boldsymbol{\beta}}$ 与 $Q_{\boldsymbol{e}}$ 相互独立.
3. $\hat{\boldsymbol{\beta}} \sim N\left(\boldsymbol{\beta}, \sigma^{2} \boldsymbol{L}^{-1}\right)$ .
4. $\boldsymbol{e} \sim N\left(\boldsymbol{0}, \sigma^{2}\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right)\right)$ .
5. $\frac{Q_{\boldsymbol{e}}}{\sigma^{2}} \sim \chi^{2}(n-k-1)$ .

正态 MLR 的 MLE 就是 LSE

证明：

$Y \sim N\left(\boldsymbol{X} \boldsymbol{\beta}, \sigma^{2} \boldsymbol{I}_{n}\right)$ .
似然函数 $L(\boldsymbol{\beta},\sigma^2)=\frac{1}{(2 \pi)^{\frac{n}{2}} \sigma^{n}} \exp \left\{-\frac{\|\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}\|_2^2}{2 \sigma^{2}}\right\}$ .
似然函数取最大值，当且仅当 $\|\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}\|_2^2$ 取最小值.
从而可知 $\boldsymbol{\beta}$ 的 MLE 就是 LSE.

例设有正态线性模型

$\left\{\begin{array}{l}{y_{1}=\beta_{1}+\beta_{2}+\beta_{3}+\varepsilon_{1}} \\ {{y}_{2}=\beta_{1}+\beta_{2}-\beta_{3}+\varepsilon_{2}} \\ {y_{3}=\beta_{1}-\beta_{2}-\beta_{3}+\varepsilon_{3}} \\ {y_{4}=\beta_{1}-\beta_{2}+\beta_{3}+\varepsilon_{4}}\end{array}\right.$

其中 $y_1,y_2,y_3,y_4$ 是可观测的随机变量； $\varepsilon_1,\varepsilon_2,\varepsilon_3,\varepsilon_4$ 独立同分布，均服从 $N(0,\sigma^2)$ . 求 $\beta_1,\beta_2,\beta_3$ 的 MLE，并分析这三个估计量是否相互独立.

解

原正态线性模型可记为 $\left\{\begin{array}{l}{\boldsymbol{Y}=\boldsymbol{X} \boldsymbol{\beta}+\boldsymbol{\varepsilon}} \\ {E(\boldsymbol{\varepsilon})=\boldsymbol{0}, \quad D(\boldsymbol{\varepsilon})=\sigma^{2} \boldsymbol{I}_{4}}\end{array}\right.$
$\beta_1,\beta_2,\beta_3$ 的 MLE 就是它们的 LSE.
$\hat{\beta}=\left[\begin{array}{l}\hat{\beta_{1}} \\ \hat{\beta_{2}} \\ \hat{\beta_{3}}\end{array}\right]=\left(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{Y}=\frac{1}{4}\left[\begin{array}{l}{y_{1}+y_{2}+y_{3}+y_{4}} \\ {y_{1}+y_{2}-y_{3}-y_{4}} \\ {y_{1}-y_{2}-y_{3}+y_{4}}\end{array}\right]$
注意到 $\hat{\boldsymbol{\beta}}\sim N(\boldsymbol{\beta},\sigma^2\boldsymbol{L}^{-1})$ , 其中 $\boldsymbol{L}=\boldsymbol{X}^{\mathrm{T}}\boldsymbol{X}=4\boldsymbol{I}_3$ .
从而可知 $\mathrm{Cov}(\hat{\boldsymbol{\beta}},\hat{\boldsymbol{\beta}})=D(\hat{\boldsymbol{\beta}})=\frac14\sigma^2\boldsymbol{I}_3$ .
故 $\hat{\beta}_1,\hat{\beta}_2,\hat{\beta}_3$ 相互无关，进而可知它们也相互独立.

8.1.3 MLR 的假设检验

MLR 的基本假设： ，其中是线性函数
- $f$ 是线性函数的假设是否合理？
分析： $y$ 与 $x_1,x_2,\ldots,x_k$ 之间没有线性关系，当且仅当： $\beta_1=\beta_2=\ldots=\beta_k=0$ .
检验假设：.
1. 拒绝 $H_0$ ，意味着线性关系显著，即回归方程与实际数据的拟合效果较好.
2. 接受 $H_0$ ，意味着线性关系不够显著，模型不可用.

分析：

观测值： $\boldsymbol{Y}=[y_1\;y_2\;\ldots\;y_n]^{\mathrm{T}}$ ，拟合值： $\hat{\boldsymbol{Y}}=[\hat{y}_1\;\hat{y}_2\;\ldots\;\hat{y}_n]^{\mathrm{T}}$ .
记 $\mathbf{1}=[1\;1\;\ldots\;1]^{\mathrm{T}}\in\mathbb{R}^n,\;\overline{y}=\frac1n\sum_{i=1}^{n}y_i$ .
总离差平方和 (Sum of Squares of Deviations): 反映观测值的离散程度. $S_{T}=\sum_{i=1}^{n}\left(y_{i}-\overline{y}\right)^{2}=\|\boldsymbol{Y}-\overline{y} \mathbf{1}\|_{2}^{2}$
残差平方和：反映拟合的效果. $Q_{e}=\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}=\|\boldsymbol{Y}-\hat{\boldsymbol{Y}}\|_{2}^{2}$
回归平方和 (Regression Sum of Square)：反映拟合值的离散程度. $U=\sum_{i=1}^{n}\left(\hat{y}_{i}-\overline{y}\right)^{2}=\|\hat{\boldsymbol{Y}}-\overline{y} \mathbf{1}\|_{2}^{2}$

引理 $S_T=Q_e+U$

证明：记 $\boldsymbol{X}=[\mathbf{1}\;\boldsymbol{X}_1]$ . 则由 $\boldsymbol{P}[\mathbf{1}\;\boldsymbol{X}_1]=\boldsymbol{P}\boldsymbol{X}=\boldsymbol{X}=[\mathbf{1}\;\boldsymbol{X}_1]$ 可知， $\boldsymbol{P}\mathbf{1}=\mathbf{1}$ .
- $=(\boldsymbol{Y}-\overline{y} \mathbf{1})^{\mathrm{T}} \boldsymbol{P}^{\mathrm{T}}\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right) \boldsymbol{Y}=(\boldsymbol{Y}-\overline{y} \mathbf{1})^{\mathrm{T}}\left(\boldsymbol{P}-\boldsymbol{P}^{2}\right) \boldsymbol{Y}=0.$
上式说明 $(\hat{\boldsymbol{Y}}-\overline{y} \mathbf{1})\perp(\boldsymbol{Y}-\hat{\boldsymbol{Y}})$ .
故由勾股定理： $\|\boldsymbol{Y}-\bar{y} \mathbf{1}\|_2^2=\|\hat{\boldsymbol{Y}}-\overline{y} \mathbf{1}\|_2^2+\|\boldsymbol{Y}-\hat{\boldsymbol{Y}}\|_2^2.$
即 $S_T=Q_e+U$ .

回归平方和的统计特性

定理在正态线性回归模型 $\left(\boldsymbol{Y}, \boldsymbol{X}\boldsymbol{\beta}, \sigma^{2} \boldsymbol{I}_{n}\right)$ 中

$\frac{Q_{e}}{\sigma^{2}} \sim \chi^{2}(n-k-1)$ .
当原假设 $H_0:\beta_i=0,\;(i=1,2,\ldots,k)$ 成立时， $\frac{U}{\sigma^{2}} \sim \chi^{2}(k)$ 且 $U$ 和 $Q_e$ 相互独立.

证明： 先证 $\frac{Q_{e}}{\sigma^{2}} \sim \chi^{2}(n-k-1)$ .

$\boldsymbol{e}=(\boldsymbol{I}-\boldsymbol{P})\boldsymbol{Y}=(\boldsymbol{I}-\boldsymbol{P})(\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon})=(\boldsymbol{I}-\boldsymbol{P})\boldsymbol{\varepsilon}$ .
$Q_e=\|\boldsymbol{Y}-\hat{\boldsymbol{Y}}\|_2^2=\boldsymbol{e}^{\mathrm{T}}\boldsymbol{e}=\boldsymbol{\varepsilon}^{\mathrm{T}}(\boldsymbol{I}-\boldsymbol{P})^2\boldsymbol{\varepsilon}=\boldsymbol{\varepsilon}^{\mathrm{T}}(\boldsymbol{I}-\boldsymbol{P})\boldsymbol{\varepsilon}$ .
令 $\boldsymbol{Z}=\frac{\boldsymbol{\varepsilon}}{\sigma}$ ，则 $\boldsymbol{Z}\sim N\left(\boldsymbol{0},\boldsymbol{I}_n\right)$ ，进而 $\frac{Q_e}{\sigma^2}=\boldsymbol{Z}^{\mathrm{T}}(\boldsymbol{I}-\boldsymbol{P})\boldsymbol{Z}$ .
$\boldsymbol{I}-\boldsymbol{P}$ 为幂等阵，故特征值必为 $0$ 或 $1$ .
$\mathrm{rank}(\boldsymbol{I}-\boldsymbol{P})=\mathrm{tr}(\boldsymbol{I}-\boldsymbol{P})=n-k-1$ .

存在正交阵 $\boldsymbol{T}$ ，使得 $\boldsymbol{I}-\boldsymbol{P}=\boldsymbol{T}^{\mathrm{T}}\mathrm{diag}\{\boldsymbol{I}_{n-k-1},\boldsymbol{O}\}\boldsymbol{T}.$
令 $\boldsymbol{W}=\boldsymbol{T}\boldsymbol{Z}$ ，则 $\boldsymbol{W}\sim N(\boldsymbol{0},\boldsymbol{I}_n)$
- $=\boldsymbol{W}^{\mathrm{T}}\mathrm{diag}\{\boldsymbol{I}_{n-k-1},\boldsymbol{O}\}\boldsymbol{W}$
- $=\sum\limits_{i=1}^{n-k-1}W_i^2\quad (\text{记：}\boldsymbol{W}=[W_1\;\;W_2\;...\;W_n]^{\mathrm{T}}).$
由此即知 $\frac{Q_e}{\sigma^2}\sim\chi^2(n-k-1)$ .

再证当原假设 $H_0:\beta_i=0,\;(i=1,2,\ldots,k)$ 成立时， $\frac{{U}}{\sigma^{2}} \sim \chi^{2}(k).$

$\overline{y}\boldsymbol{1}=\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\boldsymbol{Y}$ . 可以验证 $\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}$ 为对称幂等阵.
当成立时，.
- $\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{X}\boldsymbol{\beta}=\beta_0\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{1}=\beta_0(\boldsymbol{P}\boldsymbol{1}-\boldsymbol{1})=\boldsymbol{0}.$
- $\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{Y}=\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{\varepsilon}.$
${U}=\|\hat{\boldsymbol{Y}}-\overline{y}\boldsymbol{1}\|_2^2=(\hat{\boldsymbol{Y}}-\overline{y}\boldsymbol{1})^{\mathrm{T}}(\hat{\boldsymbol{Y}}-\overline{y}\boldsymbol{1})=\boldsymbol{Y}^{\mathrm{T}}\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{Y}=\boldsymbol{\varepsilon}^{\mathrm{T}}\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{\varepsilon}.$

令 $\boldsymbol{Z}=\frac{\boldsymbol{\varepsilon}}{\sigma}$ ，则 $\boldsymbol{Z}\sim N(\boldsymbol{0},\boldsymbol{I}_n)$ . 进而 $\frac{U}{\sigma^2}=\boldsymbol{Z}^{\mathrm{T}}\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{Z}$ .
而 $\mathrm{rank}\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)=\mathrm{tr}\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)=k$ .
故存在正交矩阵 $\boldsymbol{T}$ ，使得 $\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}=\boldsymbol{T}^{\mathrm{T}}\mathrm{diag}\{\boldsymbol{I}_{k},\boldsymbol{O}\}\boldsymbol{T}.$
令 $\boldsymbol{W}=\boldsymbol{T}\boldsymbol{Z}$ ，则 $\boldsymbol{W}\sim N(\boldsymbol{0},\boldsymbol{I}_n)$ .
$\frac{U}{\sigma^2}=\boldsymbol{Z}^{\mathrm{T}}\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)\boldsymbol{Z}=\boldsymbol{W}^{\mathrm{T}}\mathrm{diag}\{\boldsymbol{I}_{k},\boldsymbol{O}\}\boldsymbol{W}=\sum\limits_{i=1}^kW_i^2\sim\chi^2(k).$

最后证明 $U$ 和 $Q_e$ 相互独立.

记 $\boldsymbol{R}=\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}$
- $=\boldsymbol{R}\mathrm{Cov}(\boldsymbol{Y},\boldsymbol{Y})(\boldsymbol{I}-\boldsymbol{P})$
- $=\sigma^2\left(\boldsymbol{P}-\frac{1}{n}\boldsymbol{1}\boldsymbol{1}^{\mathrm{T}}\right)(\boldsymbol{I}-\boldsymbol{P})=\boldsymbol{O}$
$\boldsymbol{R}\boldsymbol{\varepsilon}$ ， $\boldsymbol{e}$ 均服从正态分布，故可知二者相互独立.
进而， $U=\boldsymbol{\varepsilon}^{\mathrm{T}}\boldsymbol{R}\boldsymbol{\varepsilon}$ 与 $Q_e=\boldsymbol{e}^{\mathrm{T}}\boldsymbol{e}$ 也相互独立.

推论在正态线性回归模型 $\left(\boldsymbol{Y}, \boldsymbol{X}\boldsymbol{\beta}, \sigma^{2} I_{n}\right)$ 中，假设检验

$H_0:\beta_1=\beta_2=\ldots=\beta_k=0$

的拒绝域是

$\frac{U / k}{Q_{e} /(n-k-1)} \geq F_{1-\alpha}(k, n-k-1).$

提示： $H_0$ 不成立时，统计量 $U/k$ 有偏大于 $\sigma^2$ 的趋势.
无论 $H_0$ 是否成立， $Q_e/(n-k-1)$ 都是 $\sigma^2$ 的无偏估计.

方差分析表

方 差 来 源 回 归 残 差 总 和 平 方 和 自 由 度 均 方 和 值

$\begin{array}{c|ccc|c} \text{方差来源} & \text{平方和} & \text{自由度} & \text{均方和} & F\text{值} \\ \hline \text{回归} & U & k & \dfrac{U}{k} & \\ \text{残差} & Q_e & n-k-1 & \dfrac{Q_e}{n-k-1} & \dfrac{U/k}{Q_e/(n-k-1)} \\ \hline \text{总和} & S_T & n-1 & & \end{array}$

即使拒绝了 $H_0$ ，也不能说明回归模型就一定能适用于实际，因为该回归模型不一定包含了对 $y$ 有影响的全部因子.

回归系数的显著性检验

定理在 MLR $\left(\boldsymbol{Y}, \boldsymbol{X}\boldsymbol{\beta}, \sigma^{2} \boldsymbol{I}_{n}\right)$ 中，对某个 $j\in\{1,2,\ldots,k\}$ ，检验假设

$H_{0j}:\beta_j=0,\quad H_{1j}:\beta_j\ne0$

的拒绝域是 $F_{j}=\frac{\hat{\beta}_{j}^{2} / l_{(j+1)(j+1)}}{Q_{e} /(n-k-1)}>F_{1-\alpha}(1, n-k-1)$ ，其中 $l_{(j+1)(j+1)}$ 是 $\boldsymbol{L}^{-1}=\left[l_{i j}\right]_{(k+1) \times {(k+1)}}$ 的第 $j+1$ 个对角元.

注：通过对回归系数的显著性检验，可以剔除对 $Y$ 影响不显著的自变量，有时候不仅能提高计算效率，也会带来估计精度的提升.

线性回归在应用中的几个问题

回归方程的适用范围
- 回归方程通常对于 $\boldsymbol{X}$ 的范围有所限定，超出了原来的变化区间， $\boldsymbol{X},Y$ 之间可能就不再是线性关系，回归方程因此也可能不再适用了.
- 应用中的其他设定应该与建立回归方程时没有显著差异，试验（应用场景）设定的变化可能导致不同因素的权重发生改变.
回归方程通常不可逆转使用
- 数学上 $y=a+bx \Leftrightarrow x=-\frac ab+\frac yb\;(b\ne 0)$ , 但作为回归方程二者一般不是相互对应的.
选取自变量时，应尽可能避免同时引入相互高度线性相关的因素.

可转化为线性回归的模型

例设有一个自变量 ${X}$ 和一个因变量 $Y$ ，从某种理论考虑或数据启示，认为回归模型具有指数形式

$Y=b_0+b_1\mathrm{e}^{c{X}}+\varepsilon.$

提示：当 $c$ 已知时，通过变换 $Z=\mathrm{e}^{c{X}}$ ，可以将原模型下对 $({X},Y)$ 的观测数据转换为新的数据 $(Z,Y)$ ，从而得到一个线性回归模型.

例设有一个自变量 ${X}$ 和一个因变量 $Y$ ，经验判断认为回归函数为 ${X}$ 的多项式

$Y=b_0+b_1{X}+b_2{X}^2+\ldots+b_k{X}^k+\varepsilon$

提示：定义 $Z_i={X}^i,\;(i=1,2,\ldots,k)$ ，以上模型可以转化为一个多元线性回归模型， $Y=b_0+b_1Z_1+b_2Z_2+\ldots+b_kZ_k+\varepsilon$ .

线性模型的复共线性

$\hat{\boldsymbol{\beta}}-\boldsymbol{\beta}=(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\boldsymbol{X}^{\mathrm{T}}{\boldsymbol{\varepsilon}}$ .
- $=E\left\{\mathrm{tr}\left[\boldsymbol{\varepsilon}^\mathrm{T}\boldsymbol{X}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\boldsymbol{X}^\mathrm{T}\boldsymbol{\varepsilon}\right]\right\}=E\left\{\mathrm{tr}\left[\boldsymbol{X}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\boldsymbol{X}^\mathrm{T}\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^\mathrm{T}\right]\right\}$
- $=\mathrm{tr}\left\{E\left[\boldsymbol{X}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\boldsymbol{X}^\mathrm{T}\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^\mathrm{T}\right]\right\}=\mathrm{tr}\left\{\boldsymbol{X}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\boldsymbol{X}^\mathrm{T}E\left(\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^\mathrm{T}\right)\right\}$
- $=\sigma^2\mathrm{tr}\left\{\boldsymbol{X}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\boldsymbol{X}^\mathrm{T}\right\}=\sigma^2\mathrm{tr}\left\{(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\boldsymbol{X}^\mathrm{T}\boldsymbol{X}\right\}$
- $=\sigma^2\mathrm{tr}\left[(\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\right]=\sigma^2\sum_{i=1}^{k}\frac{1}{\lambda_i}.$

$E\left(\|\hat{\boldsymbol{\beta}}-\boldsymbol{\beta}\|_2^2\right)=\sigma^2\sum_{i=1}^{k}\frac{1}{\lambda_i}$ ，其中 $0\leq\lambda_0\leq\lambda_1\leq\ldots\leq\lambda_k$ 是 $\boldsymbol{X}^\mathrm{T}\boldsymbol{X}$ 的特征值.
该式说明，如果存在某个很小的特征值，则对 $\beta$ 的估计误差就很大.
提示：不妨设 $\lambda_0\approx 0$ ，设其对应的单位特征向量为 $\boldsymbol{\xi}_0$ .
$\boldsymbol{X}^\mathrm{T}\boldsymbol{X}\boldsymbol{\xi}_0=\lambda_0\boldsymbol{X}^\mathrm{T}\boldsymbol{X}$ .
$\|\boldsymbol{X}\boldsymbol{\xi}_0\|_2^2=\boldsymbol{\xi}_0^\mathrm{T}\boldsymbol{X}^\mathrm{T}\boldsymbol{X}\boldsymbol{\xi}_0=\lambda_0\approx{0}$
也即 $\boldsymbol{X}\boldsymbol{\xi}_0\approx \boldsymbol{0}$ ，这说明 $\boldsymbol{X}$ 的列向量近似线性相关（称为 复共线性, Multicollinearity）.
设计矩阵 $\boldsymbol{X}$ 的复共线性是导致最小二乘估计效果变差的主要原因.

主成分估计

对设计矩阵进行奇异值分解 .
- 其中 $\boldsymbol{\Sigma}=\mathrm{diag}\{\sqrt{\lambda_k},\sqrt{\lambda_{k-1}},\ldots,\sqrt{\lambda_1},\sqrt{\lambda_0}\}$ ， $\boldsymbol{P},\boldsymbol{Q}$ 分别为 $n$ 和 $k+1$ 阶正交矩阵.
设 $\boldsymbol{X}$ 中有 $r$ 个接近于 $0$ 的奇异值（小于某个阈值 $\alpha>0$ ）.
定义 $\boldsymbol{\Sigma}_1=\mathrm{diag}\{\sqrt{\lambda_k},\sqrt{\lambda_{k-1}},\ldots,\sqrt{\lambda_r}\}$ .
称 $\tilde{\boldsymbol{\beta}}=\boldsymbol{Q}^\mathrm{T}[\Sigma_1^{-1}\;0]\boldsymbol{P}\boldsymbol{Y}$ 为 $\boldsymbol{\beta}$ 的 主成分估计.
显然 $E(\tilde{\boldsymbol{\beta}})\ne\boldsymbol{\beta}$ ，故主成分估计是 $\boldsymbol{\beta}$ 的有偏估计.

小结

多元线性回归模型
- 数学描述
- 基本性质
最小二乘估计
- 计算公式
- 基本性质
相关的假设检验