高等工程数学知识点回顾

高等工程数学 讲义 2024AU

第一部分：矩阵分析

• 线性空间与线性变换
• 方阵的相似化简
• 方阵函数与最小多项式

线性空间

• 线性空间的判定
• 线性组合、线性相关、线性无关的性质
• 基与坐标：$\boldsymbol{\alpha}=\boldsymbol{B}\boldsymbol{x}$
  
  • 过渡矩阵与坐标变换：${B}_b=\boldsymbol{B}_a\boldsymbol{P}$
  • 基变换矩阵：$\boldsymbol{x}=\boldsymbol{Py}$
• 子空间
  
  • 零空间（核）：$\mathscr{N}(\boldsymbol{A})$
    
    • $\boldsymbol{Ax}=\boldsymbol{0}$ 的解空间
  • 列空间（值域）：$\mathscr{R}(\boldsymbol{A})$
    
    • $\boldsymbol{A}$ 的列向量的极大无关组张成的线性空间
  • 直和的判定

线性变换

• 线性变换的判定
• 维度的两个公式
  
  • $\mathrm{dim}\mathscr{N}(\boldsymbol{A})+\mathrm{dim}\mathscr{R}(\boldsymbol{A})=n$
  • $\operatorname{dim}\left(W_{1} \cap W_{2}\right)+\operatorname{dim}\left(W_{1}+W_{2}\right)=\operatorname{dim}\left(W_{1}\right)+\operatorname{dim}\left(W_{2}\right)$
• 线性变换的矩阵表示：$T\boldsymbol{B}=\boldsymbol{BA}$
• 线性变换矩阵的相似关系：$\boldsymbol{B}=\boldsymbol{P}^{-1} \boldsymbol{AP}$
  
  • $\boldsymbol{A},\boldsymbol{B}$ 分别为 $T$ 在基 $\boldsymbol{B}_A,\boldsymbol{B}_B$ 下的矩阵
  • $\boldsymbol{B}_B=\boldsymbol{B}_A\boldsymbol{P}$
• 线性变换的 特征值与特征向量
  
  • 特征子空间
  • 代数重数、几何重数

线性变换与方阵的相似对角化

• 充要条件：所有特征值的代数重数等于几何重数
• 充分条件：所有特征值取值均不相同
• 相似变换矩阵
  
  • $\lambda_1,\lambda_2,\ldots,\lambda_n$ 为 $\boldsymbol{A}$ 的全部特征值，$\boldsymbol{\xi}_1,\boldsymbol{\xi}_2,\ldots,\boldsymbol{\xi}_n$ 为与之对应的特征向量
  • $\boldsymbol{P}=[\boldsymbol{\xi}_1\;\boldsymbol{\xi}_2\;\ldots\;\boldsymbol{\xi}_n]$
  • $\boldsymbol{P}^{-1}\boldsymbol{AP}=\mathrm{diag}\{\lambda_1,\lambda_2,\ldots,\lambda_n\}$
• Hermite（实对称）矩阵一定可以相似对角化，且变换矩阵可以是 酉（正交）矩阵

内积空间

• 内积的性质
  
  • 酉空间上的内积满足共轭对称性：$\langle\boldsymbol{\alpha},\boldsymbol{\beta}\rangle=\overline{\langle\boldsymbol{\beta},\boldsymbol{\alpha}\rangle}$
  • 正交的判定：$\langle\boldsymbol{\alpha},\boldsymbol{\beta}\rangle=0\Leftrightarrow\boldsymbol{\alpha}\perp\boldsymbol{\beta}\Leftrightarrow|\boldsymbol{\alpha}+\boldsymbol{\beta}|^2=|\boldsymbol{\alpha}|^2+|\boldsymbol{\beta}|^2$
• 向量的长度：$\|\boldsymbol{\alpha}\|_2^2=|\boldsymbol{\alpha}|^2=\langle\boldsymbol{\alpha},\boldsymbol{\alpha}\rangle=\boldsymbol{\alpha}^{\mathrm{H}}\boldsymbol{\alpha}$
  
  • 三角不等式：$|\boldsymbol{\alpha}+\boldsymbol{\beta}|\leq|\boldsymbol{\alpha}|+|\boldsymbol{\beta}|$
  • Cauchy-Schwartz 不等式：$|\langle\boldsymbol{\alpha},\boldsymbol{\beta}\rangle|\leq|\boldsymbol{\alpha}||\boldsymbol{\beta}|$
• 度量矩阵：$G=[\langle\boldsymbol{\alpha}_i,\boldsymbol{\alpha}_j\rangle]_{n\times n}$

正交变换

• $\langle T\boldsymbol{\alpha},T\boldsymbol{\beta}\rangle=\langle\boldsymbol{\alpha},\boldsymbol{\beta}\rangle$：正交变换保持向量长度和正交关系不变
• Schmidt 正交化
  
  • 令 $\boldsymbol{\beta}_1=\boldsymbol{\alpha}_1$ ， $\boldsymbol{\varepsilon}_1=\displaystyle\frac{\boldsymbol{\beta}_1}{|\boldsymbol{\beta}_1|}$
  • 令 $\boldsymbol{\beta}_2=\boldsymbol{\alpha}_2-\langle\boldsymbol{\alpha}_2,\boldsymbol{\varepsilon}_1\rangle\boldsymbol{\varepsilon}_1$ ， $\boldsymbol{\varepsilon}_2=\displaystyle\frac{\boldsymbol{\beta}_2}{|\boldsymbol{\beta}_2|}$
  • 令 $\boldsymbol{\beta}_{3}=\boldsymbol{\alpha}_{3}-\langle\boldsymbol{\alpha}_{3}, \boldsymbol{\varepsilon}_{2}\rangle\boldsymbol{\varepsilon}_{2}-\langle\boldsymbol{\alpha}_{3}, \boldsymbol{\varepsilon}_{1}\rangle\boldsymbol{\varepsilon}_{1}$ ， $\boldsymbol{\varepsilon}_3=\displaystyle\frac{\boldsymbol{\beta}_3}{|\boldsymbol{\beta}_3|}$
  • 依此类推， $\displaystyle\boldsymbol{\beta}_{m}=\boldsymbol{\alpha}_{m}-\sum_{i=1}^{m-1}\langle\boldsymbol{\alpha}_{m}, \boldsymbol{\varepsilon}_{i}\rangle\boldsymbol{\varepsilon}_{i}$ ， $\boldsymbol{\varepsilon}_m=\displaystyle\frac{\boldsymbol{\beta}_m}{|\boldsymbol{\beta}_m|}$ ， $m=2,3,\ldots,n$

Schmidt 正交化

• $\boldsymbol{P}=\left[\begin{array}{cccc}\left|\boldsymbol{\beta}_{1}\right| & \langle\boldsymbol{\alpha}_{2}, {\boldsymbol{\varepsilon}_{1}\rangle} & \langle\boldsymbol{\alpha}_{3}, {\boldsymbol{\varepsilon}_{1}\rangle} & \cdots & \langle\boldsymbol{\alpha}_{n}, \boldsymbol{\varepsilon}_{1}\rangle \\ &{\left|\boldsymbol{\beta}_{2}\right|} & \langle\boldsymbol{\alpha}_{3}, {\boldsymbol{\varepsilon}_{2}\rangle} & {\cdots} & {\langle\boldsymbol{\alpha}_{n}, \boldsymbol{\varepsilon}_{2}\rangle} \\ && |\boldsymbol{\beta}_3|& \cdots & \langle\boldsymbol{\alpha}_{n}, {\boldsymbol{\varepsilon}_{3}\rangle}\\ &{} & {} & {\ddots}& \vdots\\ &{} & {} & & {\left|\boldsymbol{\beta}_{n}\right|}\end{array}\right]$
  
  • $\displaystyle\boldsymbol{\beta}_{m}=\boldsymbol{\alpha}_{m}-\sum_{i=1}^{m-1}\langle\boldsymbol{\alpha}_{m}, \boldsymbol{\varepsilon}_{i}\rangle\boldsymbol{\varepsilon}_{i}$ ， $\boldsymbol{\varepsilon}_m=\displaystyle\frac{\boldsymbol{\beta}_m}{|\boldsymbol{\beta}_m|}$ ， $m=2,3,\ldots,n$
  • $\left\{\boldsymbol{\alpha}_{1}, \boldsymbol{\alpha}_{2}, \ldots, \boldsymbol{\alpha}_{n}\right\}=\left\{\boldsymbol{\varepsilon}_{1}, \boldsymbol{\varepsilon}_{2}, \ldots, \boldsymbol{\varepsilon}_{n}\right\} \boldsymbol{P}$

旋转与镜像变换

• 顺时针旋转：
  
  • $\boldsymbol{A}=\left[\begin{array}{cc}{\cos \theta} & {\sin \theta} \\ {-\sin \theta} & {\cos \theta}\end{array}\right]$
• Householder变换：
  
  • $\boldsymbol{\beta}=\boldsymbol{H}_{\omega}\boldsymbol{\alpha}=(\boldsymbol{I}-2\boldsymbol{\omega\omega}^{\mathrm{T}})\boldsymbol{\alpha}$

酉（对称）变换

• $\langle T\boldsymbol{\alpha},\boldsymbol{\beta}\rangle=\langle\boldsymbol{\alpha},T\boldsymbol{\beta}\rangle$
  
  • 在标准正交基下的矩阵为Hermite（实对称）矩阵
  • Hermite（实对称）矩阵的特征子空间两两正交
  • Hermite（实对称）矩阵一定可以相似对角化，且对应的变换矩阵可以是酉（正交）矩阵
  • $\boldsymbol{U}^{-1} \boldsymbol{A U}=\boldsymbol{U}^{\mathrm{H}} \boldsymbol{A U}=\mathrm{diag}\{\lambda_1,\lambda_2,\ldots,\lambda_n\}$

Jordan 标准形

• Jordan 块、子 Jordan 矩阵，Jordan 矩阵的概念
• 行列式因子：所有非零的 $k$ 级子式的首项系数为 $1$ 的最大公因式 $D_k(\lambda)$
• 不变因子：$\displaystyle d_k(\lambda)=\frac{D_k(\lambda)}{D_{k-1}(\lambda)}$
  
  • Smith 标准形
• 初等因子：每个不变因子在复数域分解得到的互不相同的一次因式的方幕
• 分块对角阵的初等因子就是其对角元矩阵的初等因子的全体
• $k$ 阶 Jordan 块的初等因子是 $\left(\lambda-\lambda_{0}\right)^{k}$

Jordan 标准形的求解

• 化简得到 $\boldsymbol{A}$ 的特征矩阵为 Smith 标准形，从中得到 $\boldsymbol{A}$ 的全部初等因子 $\left(\lambda-\lambda_{i}\right)^{k_{i}},i=1,2,\ldots,s$
• 写出每个初等因子对应的 Jordan 块
  
  • $\boldsymbol{J}_{i}=\left[\begin{array}{ccccc}{\lambda_{i}} & {1} & {} & {} & {} \\ {} & {\lambda_{i}} & {\ddots} & {} & {} \\ {} & {} & {\ddots} & {1} \\ {} & {} & {} & {\lambda_{i}}\end{array}\right]_{k_{i} \times k_{i}}$
• $\boldsymbol{A}$ 的 Jordan 标准形 $\boldsymbol{J}=\mathrm{diag}\{\boldsymbol{J}_1,\boldsymbol{J}_2,\ldots,\boldsymbol{J}_s\}$

方阵的幂

• $\boldsymbol{A}=\boldsymbol{PBP}^{-1}$，则 $\boldsymbol{A}^k=\boldsymbol{PB}^k\boldsymbol{P}^{-1}$

  • $f$ 为多项式函数，则 $f(\boldsymbol{A})=\boldsymbol{P}f(\boldsymbol{B})\boldsymbol{P}^{-1}$

• $\displaystyle \boldsymbol{J}^{k}=\left[\begin{array}{ccccc}{\lambda_{0}^{k}} & {\left(\lambda_{0}^{k}\right)^{\prime}} & {\frac{1}{2 !}\left(\lambda_{0}^{k}\right)^{\prime \prime}} & {\cdots} & {\frac{1}{(r-1) !}\left(\lambda_{0}^{k}\right)^{(r-1)}} \\ &{\lambda_{0}^{k}} & {\left(\lambda_{0}^{k}\right)^{\prime}} & {\ddots} & {\vdots} \\ & {} & {\ddots} & {\ddots} & {\frac{1}{2 !}\left(\lambda_{0}^{k}\right)^{\prime \prime}} \\ &{} & {} & {\ddots} & {\left(\lambda_{0}^{k}\right)^{\prime}} \\ &{} & {} & {} & {\lambda_{0}^{k}}\end{array}\right]_{r\times r}$

最小多项式

• C-H 定理：$\boldsymbol{A}$ 的特征多项式 $f_{A}(\lambda)$ 是 $\boldsymbol{A}$ 的零化多项式
• 设 $\displaystyle f_{A}(\lambda)=|\lambda \boldsymbol{I}-\boldsymbol{A}|=\prod_{i=1}^{s}(\lambda-\lambda_i)^{n_i}$，则 $\displaystyle m_{A}(\lambda)=\prod_{i=1}^{s}(\lambda-\lambda_i)^{m_i}$, $m_i\leq n_i,\;(i=1,2,\ldots,s)$
• $\boldsymbol{J}=\left[\begin{array}{ccccc}{\lambda_{0}} & {1} & {} & {} & {} \\ {} & {\lambda_{0}} & {\ddots} & {} & {} \\ {} & {} & {\ddots} & {1} \\ {} & {} & {} & {\lambda_{0}}\end{array}\right]_{r \times r}$ 的最小多项式为 $(\lambda-\lambda_0)^r$
• 分块对角阵的最小多项式是其对角元矩阵的最小多项式的最小公倍式

向量范数

• 向量范数
  
  • $\|\boldsymbol{x}\|_{p} =\left(\sum\limits_{i=1}^n|x_i|^p\right)^{\frac1p}$
  • $\|\boldsymbol{x}\|_{1} =\left|x_{1}\right|+\left|x_{2}\right|+\cdots+\left|x_{n}\right|$
  • $\|\boldsymbol{x}\|_{2} = \sqrt{\left|x_{1}\right|^{2}+\left|x_{2}\right|^{2}+\cdots+\left|x_{n}\right|^{2}}$
  • $\|\boldsymbol{x}\|_{\infty} = \max \left\{\left|x_{1}\right|,\left|x_{2}\right|, \cdots,\left|x_{n}\right|\right\}$
• 有限维实线性空间上的任意范数都是等价的 ${m}\|\boldsymbol{\alpha}\|_{a} \leq\|\boldsymbol{\alpha}\|_{b} \leq {M}\|\boldsymbol{\alpha}\|_{a}$

矩阵范数（诱导范数）

• $\displaystyle \|\boldsymbol{A}\| =\sup _{\|\boldsymbol{x}\| = 1} \frac{\|\boldsymbol{A} \boldsymbol{x}\|}{\|\boldsymbol{x}\|}$
• $\displaystyle \|\boldsymbol{A}\|_{1} =\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$
• $\displaystyle \|\boldsymbol{A}\|_{\infty} =\max _{1 \leq i \leq m} \sum_{j=1}^{n}| a_{i j} |$
• $\displaystyle \|\boldsymbol{A}\|_{2} =\sqrt{\lambda_{1}}$，$\lambda_1$是$\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}$的最大特征值

矩阵级数

• 谱半径：$\rho(\boldsymbol{A})$ 等于 $\boldsymbol{A}$ 的模最大的特征值的模，$\rho(\boldsymbol{A}) \leq\|\boldsymbol{A}\|$
• 对于 Hermite 矩阵：$\|\boldsymbol{A}\|_{2}=\rho(\boldsymbol{A})$
• $\boldsymbol{A} \in \mathbf{C}^{n \times n}$，则$\lim\limits_{k \rightarrow \infty} \boldsymbol{A}^{k}=0 \Leftrightarrow \rho(\boldsymbol{A})<1$
• 设幂级数$\sum\limits_{k=0}^{\infty} c_{k} z^{k}$的收敛半径为$R$
  
  • 当$\rho(\boldsymbol{A})<R$时，$\sum\limits_{k=0}^{\infty} c_{k} \boldsymbol{A}^{k}$收敛
  • 当$\rho(\boldsymbol{A})>R$时，$\sum\limits_{k=0}^{\infty} c_{k} \boldsymbol{A}^{k}$发散

方阵函数的计算

• Jordan 标准形法：若 $\boldsymbol{J}$ 是对角元为 $\lambda_0$ 的 $r$ 阶 Jordan 块，则对解析函数 $f(\lambda)$ 有
• $\displaystyle f(\boldsymbol{J})=\left[\begin{array}{cccc}{f\left(\lambda_{0}\right)} & {f^{\prime}\left(\lambda_{0}\right)} & {\frac{f^{\prime \prime}\left(\lambda_{0}\right)}{2 !}} & {\cdots} & {\frac{f^{(r-1)}\left(\lambda_{0}\right)}{(r-1) !}} \\ {} & {f\left(\lambda_{0}\right)} & {f^{\prime}\left(\lambda_{0}\right)} & {\ddots} & {\vdots} \\ {} & {} & {f\left(\lambda_{0}\right)} & {\ddots} & {\frac{f^{\prime \prime}\left(\lambda_{0}\right)}{2 !}} \\ &{} & {} & {\ddots} & {f^{\prime}\left(\lambda_{0}\right)} \\ & {} & {} & {} & {f\left(\lambda_{0}\right)}\end{array}\right]_{r \times r}$

方阵函数的计算

• 最小多项式法 已知 $\boldsymbol{A}$ 的最小多项式次数不超过 $m$
  
  • 设 $g(\lambda)=a_{0} \lambda^{m-1}+a_{1} \lambda^{m-2}+\cdots a_{m-1}$
  • 令 $\left\{\begin{array}{c}{f\left(\lambda_{i}\right)=g\left(\lambda_{i}\right)} \\ {f^{\prime}\left(\lambda_{i}\right)=g^{\prime}\left(\lambda_{i}\right)} \\ {\vdots} \\ {f^{\left(m_{i}-1\right)}\left(\lambda_{i}\right)=g^{\left(m_{i}-1\right)}\left(\lambda_{i}\right)}\end{array} \quad, \quad i=1,2, \cdots, s\right.$
  • 解出 $g(\lambda)$
  • $f(\lambda)$ 和 $g(\lambda)$ 在谱上是一致的，故 $f(\boldsymbol{A})=g(\boldsymbol{A})$

第二部分：数理统计

• 抽样分布定理
• 参数估计
• 假设检验
• 线性统计推断
• 主成分分析

基本的统计量

• 样本均值: $\displaystyle \overline{X} \triangleq \frac{1}{n} \sum_{i=1}^{n} X_{i}$
• 样本方差: $\displaystyle S^{2} \triangleq \frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}$
• 样本标准方差: $\displaystyle S=\sqrt{S^{2}} \triangleq \sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}$
• 修正的样本方差: $\displaystyle \tilde{S}^{2} \triangleq \frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}$
• 样本极小值: $X_{(1)} \triangleq \min \left\{X_{1}, X_{2}, \cdots, X_{n}\right\}$
• 样本极大值: $X_{(n)} \triangleq \max \left\{X_{1}, X_{2}, \cdots, X_{n}\right\}$

抽样分布与分位点

• 标准正态分布：$X\sim N(0,1)$，
  
  • $u_{\alpha}=-u_{1-\alpha}$
• $\chi^2$-分布: $\displaystyle \chi^{2} = \sum_{i=1}^{n} X_{i}^{2}$
  
  • $E(\chi^2)=n,\;D(\chi^2)=2n$
• $t$-分布: $\displaystyle t = \frac{X}{\sqrt{Y / n}}$
  
  • $t_{\alpha}=-t_{1-\alpha}$
• $F$-分布：$\displaystyle F= \frac{X / m}{Y / n}$
  
  • $\displaystyle F_{\alpha}(m, n)=\frac{1}{F_{1-\alpha}(n, m)}$

抽样分布基本定理

定理 设 $X_1, X_2, ..., X_n$ 是来自正态总体 $X\sim N(\mu,\sigma^2)$ 的简单随机样本，则

• $\overline{X} \sim N\left(\mu, \frac{\sigma^{2}}{n}\right)$
• $\dfrac{n S^{2}}{\sigma^{2}} \sim \chi^{2}(n-1)$
• $\overline{X}$ 与 $S^2$ 相互独立

抽样分布定理

• 定理2: $\dfrac{\overline{X}-\mu}{S / \sqrt{n-1}} \sim t(n-1)$
• 定理3: $\dfrac{(\overline{X}-\overline{Y})-\left(\mu_{1}-\mu_{2}\right)}{S_{\omega} \sqrt{\frac{1}{n}+\frac{1}{m}}} \sim t(m+n-2)$
  
  • $\displaystyle S_{\omega}^{2}=\frac{n S_{1}^{2}+m S_{2}^{2}}{m+n-2}$
• 定理4: $\dfrac{\tilde{S}_{1}^{2} / \sigma_{1}^{2}}{\tilde{S}_{2}^{2} / \sigma_{2}^{2}} \sim F(n-1, m-1)$

参数估计-矩估计

• 求总体 $X$ 的前 $k$ 阶矩
  
  • $\mu_{i}\left(\theta_{1}, \theta_{2}, \cdots, \theta_{k}\right)=E\left(X^{i}\right),\; (i=1, 2, \dots, k)$
• 求样本的前 $k$ 阶矩
  
  • $A_{i}=\dfrac{1}{n} \sum\limits_{l=1}^{n} X_{l}^{i},\; (i=1, 2, \dots, k)$
• 解方程（组）：$\mu_{i}\left(\theta_{1}, \theta_{2}, \cdots, \theta_{k}\right)=A_{i}, \quad (i=1,2, \cdots, k)$
  
  • 得 $\hat{\theta}_{i}=\hat{\theta}_{i}\left(X_{1}, X_{2}, \cdots, X_{k}\right), \quad (i=1,2, \cdots, k)$

参数估计-最大似然估计

• 似然函数 $L\left(\theta_{1}, \theta_{2}, \ldots, \theta_{m}\right)=\displaystyle\prod_{i=1}^{n}f(x_i;\theta)$;
• 对数似然函数 $l\left(\theta_{1}, \theta_{2}, \ldots, \theta_{m}\right)=\ln L\left(\theta_{1}, \theta_{2}, \ldots, \theta_{m}\right)$
• 对数似然函数方程（组）
  
  • $\dfrac{\partial l\left(\theta_1, \theta_{2}, \cdots, \theta_{m}\right)}{\partial \theta_{i}}=0, \quad (i=1,2,\ldots, m)$
• 解得 $\hat{\theta}_i$ 即为 $\theta_i$ 的MLE.
• 如果由对数似然方程（组）无法确定 MLE，则结合参数取值的边界条件，对似然函数进行讨论.

参数估计的评价标准

• 无偏性 $E(\hat{\theta})=\theta$
• 有效性
  
  • 对于无偏估计，$D\left(\hat{\theta}_{1}\right)<D\left(\hat{\theta}_{2}\right)$，则 $\hat{\theta}_1$ 更有效
  • 最小方差无偏估计（MVUE）：$D\left(\hat{\theta}^{*}\right) \leq D(\hat{\theta})$
  • Cramer-Rao 下界：$\displaystyle D\left(\hat{g}\right) \geq \frac{\left[g^{\prime}(\theta)\right]^{2}}{n I(\theta)}$
  • $g(\theta)=\theta$ 时，C-R 下界为 $\displaystyle \frac{1}{nI(\theta)}$
  • Fisher 信息量：$\displaystyle \bbox[lightgreen]{I(\theta) = E\left[\left(\frac{\partial}{\partial \theta} \ln f(X ; \theta)\right)^{2}\right]}$

证明某个统计量是未知參数的 MVUE 的一般过程

• 证明估计量 $\hat{\theta}$ 是 $\theta$ 的无偏估计量;
• 计算估计量 $\hat{\theta}$ 的方差 $D(\hat{\theta})$;
• 计算 Fisher 信息量 $I(\theta)$;
• 比较 $D(\hat{\theta})$ 和 $I(\theta)$
  
  • 若 $\displaystyle D(\hat{\theta})=\frac{1}{n I(\theta)}$，则$\hat{\theta}$ 是 $\theta$ 的 MVUE.

• 相合性 $\lim\limits_{n \rightarrow \infty} P\left\{\left|\hat{\theta}_{n}-\theta\right| \geq \varepsilon\right\}=0$
  
  • Chebyshev 不等式 $\displaystyle P\left\{\left|\widehat{\theta}-E(\hat{\theta})\right| \geqslant \varepsilon\right\}\leqslant\frac{r(\hat{\theta})}{\varepsilon^2}$
  • 如果 $\lim\limits_{n\to\infty}r(\hat{\theta})=0$，则 $\theta$ 是相合估计
• $r(\hat{\theta})=D(\hat{\theta})+[b(\hat{\theta})]^{2}$
  
  • 绝对误差：$r(\hat{\theta})=E\left[(\hat{\theta}-\theta)^{2}\right]$
  • 系统误差：$b(\hat{\theta})=E(\hat{\theta})-\theta$
  • 随机误差：$D(\hat{\theta})=E\left[(\hat{\theta}-E(\hat{\theta}))^{2}\right]$

参数假设检验

• 假设检验原则一：不轻易拒绝原假设，除非有极其充足的理由
  
  • 犯 I 类错误的概率要足够小
  • 对给定的 $\alpha$ 使得: $P\{\text{拒绝}H_0| H_0\text{为真}\}\leq\alpha$
• 假设检验原则二：在满足原则一的条件下，使 II 类风险尽可能小
• N-P准则 在 Ⅰ 类风险满足显著性水平 $\alpha$ 下，使 Ⅱ 类风险尽可能小，即要求这个检验的功效函数 $\beta(\theta)$ 满足：$\left\{\begin{array}{l}\beta(\theta)\leqslant\alpha,& \theta\in\Theta_0\\ \beta(\theta)\text{尽可能大}, & \theta\in\Theta_1\end{array}\right.$

功效函数

• $\beta(\theta)=P_{\theta}\left\{\left(X_{1}, X_{2}, \ldots, X_{n}\right) \in W\right\}$
• 若 $\theta\in\Theta_0$，$H_0$ 成立
  
  • $\beta(\theta)$ 等于犯第 I 类错误的概率，即 I 类风险
  • 检验准则一：$\beta(\theta)\leq \alpha$
• 若 $\theta\in\Theta_1$，$H_1$ 成立
  
  • $\beta(\theta)$ 等于根据样本观测值作出拒绝原假设的判断是正确的概率
  • $1-\beta(\theta)=P_{\theta}\left\{\left(X_{1}, X_{2}, \ldots, X_{n}\right) \notin W\right\}$ 即为 II 类风险

四类常见的检验

1. 单正态总体均值检验
2. 单正态总体方差检验
3. 双正态总体均值差检验
4. 双正态总体方差比检验

分布拟合检验

• 设 $X_1,X_2,\ldots,X_n$ 是来自离散总体 $X$ 的样本，$X$ 的分布律未知
• 检验假设 $H_0:P\{X=a_i\}=p_i, (i=1,2,\ldots,k)$
  
  • 其中 $a_i,p_i$ 均已知，且 $\displaystyle \sum_{i=1}^{k}p_i=1$.
• $H_0$ 成立时，$\displaystyle \chi^{2}=\sum_{i=1}^{k} \frac{\left(n_{i}-n p_{i}\right)^{2}}{n p_{i}}\sim\chi^2(k-r-1)$，$r$ 为待估参数的个数
  
  • 在检验前，需要先求出所有待估参数的 MLE
• 该检验的拒绝域为：$\displaystyle \sum_{i=1}^{k} \frac{\left(n_{i}-n p_{i}\right)^{2}}{n p_{i}}>\chi_{1-\alpha}^{2}(k-r-1)$

独立性检验

• 检验假设：${H}_{0}: p_{i j}={p}_{i\cdot} {p}_{\cdot j} \quad {H}_{1}: {p}_{i j} \neq {p}_{i\cdot} {p}_{\cdot j}$
  
  • $i=1,2,\ldots,r,\;j=1,2,\ldots,s$
• 拒绝域：$\displaystyle \sum\limits_{i=1}^{r} \sum\limits_{j=1}^{s} \frac{\left(n_{i j}-n \hat{p}_{i\cdot} \hat{p}_{\cdot j}\right)^{2}}{n \hat{p}_{i\cdot} \hat{p}_{\cdot j}}>\chi_{1-\alpha}^{2}((r-1)(s-1))$

多元线性回归

• 模型
  
  • $\left\{\begin{array}{l}{{\boldsymbol{Y}}=\boldsymbol{X} \boldsymbol{\beta}+\boldsymbol{\varepsilon}} \\ E(\boldsymbol{\varepsilon})=\boldsymbol{0} \\ D(\boldsymbol{\varepsilon})=\operatorname{cov}(\boldsymbol{\varepsilon}, \boldsymbol{\varepsilon})=\sigma^{2} \boldsymbol{I}_{n}\end{array}\right.$
• 最小二乘估计 $\hat{\boldsymbol{\beta}}=(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X})^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{Y}$
• 性质
  
  • $D(\hat{\boldsymbol{\beta}})=\sigma^{2} (\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X})^{-1}$
  • $D(\boldsymbol{e})=\sigma^{2}\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right)$
    
    • 其中 $\boldsymbol{e}=\boldsymbol{Y}-\hat{\boldsymbol{Y}}$, $\boldsymbol{P}=\boldsymbol{X}\left(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\mathrm{T}}$
  • $E\left(Q_{e}\right)=(n-k-1) \sigma^{2}$, 其中$Q_{e}=\|\boldsymbol{e}\|_{2}^{2}$
  • $\boldsymbol{c}^{\mathrm{T}} \hat{\boldsymbol{\beta}}$ 是 $\boldsymbol{c}^{\mathrm{T}} \boldsymbol{\beta}$ 的最小方差线性无偏估计

正态线性回归模型

MLR $(\boldsymbol{Y},\boldsymbol{X}\boldsymbol{\beta},\sigma^2\boldsymbol{I}_n)$ 中，若 $\boldsymbol{\varepsilon} \sim N\left(\boldsymbol{0}, \sigma^{2} \boldsymbol{I}_{n}\right)$，则称该模型是一个 正态线性回归模型.

• 性质 在正态线性回归模型 $(\boldsymbol{Y},\boldsymbol{X}\boldsymbol{\beta},\sigma^2\boldsymbol{I}_n)$ 中，
  
  1. $\boldsymbol{\beta}$ 的最大似然估计就是其最小二乘估计.
  2. $\displaystyle \hat{\boldsymbol{\beta}}$ 与 $\boldsymbol{e}$ 相互独立，进而 $\hat{\boldsymbol{\beta}}$ 与 $Q_{\boldsymbol{e}}$ 相互独立.
  3. $\displaystyle \hat{\boldsymbol{\beta}} \sim N\left(\boldsymbol{\beta}, \sigma^{2} \boldsymbol{L}^{-1}\right)$.
  4. $\displaystyle \boldsymbol{e} \sim N\left(\boldsymbol{0}, \sigma^{2}\left(\boldsymbol{I}_{n}-\boldsymbol{P}\right)\right)$.
  5. $\displaystyle \frac{Q_{\boldsymbol{e}}}{\sigma^{2}} \sim \chi^{2}(n-k-1)$.

单因子方差分析

• 检验假设：$H_0:\mu_1=\mu_2=\ldots=\mu_a$
• $\displaystyle \overline{S}_e=\frac{S_e}{n-a}\sim\chi^2(n-a)$，
• $H_0$ 成立时
  
  • $\displaystyle \overline{S}_A=\frac{S_A}{a-1}\sim\chi^2(a-1)$
  • $\displaystyle F=\frac{\overline{S}_{A}}{\overline{S}_{e}}=\frac{S_{A} /(a-1)}{S_{e} /(n-a)} \sim F(a-1, n-a)$
• 拒绝域：$\displaystyle F=\frac{\overline{S}_{A}}{\overline{S}_{e}}>F_{1-\alpha}(a-1, n-a)$

方差分析表

主成分分析

• $\boldsymbol{X}$ 为 $p$ 维随机向量
• $D(\boldsymbol{X})=\mathrm{cov}(\boldsymbol{X},\boldsymbol{X})=\boldsymbol{V}$
• $\boldsymbol{V}$ 的特征根为 $\lambda_1\geq\lambda_2\geq\ldots\geq\lambda_p\geq0$,
• 对应的标准正交化的特征向量为 $\boldsymbol{l}_1,\boldsymbol{l}_2,\ldots,\boldsymbol{l}_p$
• $\boldsymbol{X}$ 的第 $i$ 个主成分为 $Y_i=\boldsymbol{l}_i^{\mathrm{T}}\boldsymbol{X}$，且 $D(y_i)=\lambda_i$, $i=1,2,\ldots,p$
• 累积贡献率：$\displaystyle \frac{\sum\limits_{i=1}^{k}\lambda_{i}}{\sum\limits_{j=1}^{p} \lambda_{j}}$