9.3 主成分分析

高等工程数学 讲义 2024AU

---

---

问题的提出

• 评价一个指标时，可能会考虑多个相关因素，每个因素的影响大小（重要程度）有所不同.
• 例如，评估高等院校的排名时，需要考虑的因素可能包括：
  
  1. 师资队伍 学历构成、年龄构成、学源结构、院士、杰青、优青、长江学者、...
  2. 教学水平 学科方向设置、信息化水平、名师数量、...
  3. 科研水平 项目经费、来源、论文数量、SCI检索数量、被引用数、高引用论文数、ESI 前1%论文数量、成果应用的效益、...

---

评价因素众多可能带来的问题

• 数据量大、数据关系复杂；重要性难以取舍.
• 综合评价难以兼顾效率和精确性.
• 问题：恰当地把握不同因素的取舍，在提高处理效率的同时，尽可能保证评价的准确可靠？
• 主成分分析（Principal Components Analysis，PCA）利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为 主成分.

---

主成分分析（PCA）

• Karl Pearson 于1901年发明，用于分析数据及建立数理模型.
• 1930年左右，由 Harold Hotelling 独立发展并命名.
• PCA 是最简单的以特征量分析多元统计分布的方法，这种运算可以被看作是揭露数据的内部结构，从而更好地解释数据背后的决定因素的方法.

---

其他的 PCA

from: https://en.wikipedia.org/wiki/Principal_component_analysis

• the discrete Karhunen–Loève transform (KLT) in signal processing
• the Hotelling transform in multivariate quality control
• proper orthogonal decomposition (POD) in mechanical engineering
• singular value decomposition (SVD) of $X$ , and eigenvalue decomposition (EVD) of $X^{\mathrm{T}}X$ in linear algebra
• factor analysis
• Eckart–Young theorem, or empirical orthogonal functions (EOF) in meteorological science
• empirical eigenfunction decomposition
• empirical component analysis
• quasiharmonic modes
• spectral decomposition in noise and vibration
• empirical modal analysis in structural dynamics

---

PCA 的基本思想

• 分析变量(因素)间的依赖关系.
  
  • 用较少的变量去解释(还原)原始数据中的大部分信息，达到剔除冗余信息，压缩数据量的目的.
• 将许多相关性很高的变量转化成 个数较少、彼此互相独立 且 影响最为显著 的几个新变量.

---

PCA 的实质

• 给定一个高维数据集，PCA 就能够提供与之对应的一幅比较低维的图像，该图像可以视为高维数据集在低维空间中的投影.
• PCA 的实质是 选择合适的低维空间，以最大限度地保留原数据集的特征，同时大大降低数据处理的复杂度.
• 应用领域：高维数据处理、数据可视化、机器学习（过拟合的处理）、模式识别、语义网格、...

---

PCA 的数学描述

• 设 $X_1,X_2,\ldots,X_p$ 是待考察的随机变量，$Y_1,Y_2,\ldots,Y_m$ 是待构造的 $m(m<p)$ 个随机变量.
• 称 $Y_1,Y_2,\ldots,Y_m$ 张成的空间为 $m$ 维 主平面 (Principal Plane).
• 满足：
  
  • $Y_i$ 是 $X_1,X_2,\ldots,X_p$ 的线性组合，$i=1,2,...,m$.
  • $\mathrm{Cov}(Y_i,Y_j)=0,\;(i\ne j)$.
  • $Y_1,Y_2,\ldots,Y_m$ 中应尽可能多地包含 $X_1,X_2,\ldots,X_p$ 中的信息.
• 问题：如何度量随机变量中包含信息的多少？

---

信息量与方差

• 信息熵（Shannon）：一个变量的不确定性越大，其中包含的信息越多.
  
  • 特别地，如果一个变量的取值确定了，则它包含的信息量为零.
• 对随机变量而言，方差 越大意味着随机变量的取值越 分散.
  
  • 随机变量的取值越分散，则越 难以预测 该随机变量的取值.
  • 越难以预测随机变量的取值，意味着该随机变量蕴含的 信息 越多.
• 信息量大 $\sim$ 方差大.

---

主成分的构造原则

• 确定（构造） $Y_1,Y_2,\ldots,Y_m$ 的原则：
  
  1. $Y_i$ 是 $\boldsymbol{X}=[X_1\;X_2\;\ldots\;X_p]^{\mathrm{T}}$ 的凸线性函数，即：
     
     • $Y_i=\boldsymbol{l}_i^{\mathrm{T}}\boldsymbol{X},\;i=1,2,\ldots,m$,
     • 其中$\boldsymbol{l}_i\in\mathbb{R}^p$，满足 $\boldsymbol{l}_i^{\mathrm{T}}\boldsymbol{l}_i=1$.
  2. $\mathrm{Cov}(Y_i,Y_j)=0,\;(i\ne j)$.
  3. 若 $Y$ 是 $\boldsymbol{X}$ 的凸线性函数，且 $\mathrm{Cov}(Y,Y_i)=0,\;(i=1,2,\ldots,k-1)$, 则 $D(Y)\leq D(Y_k),\;k=1,2,\ldots,m.$
     
     • 特别地，对 $\boldsymbol{X}$ 的任意凸线性函数 $Y$，都有 $D(Y)\leq D(Y_1)$.

---

主成分的构造

定理 设 $\boldsymbol{X}$ 为 $p$ 维随机向量，$\boldsymbol{V}=D(\boldsymbol{X})$，$\boldsymbol{V}$ 的 $p$ 个特征根记为

$$\lambda_1\geq\lambda_2\geq\ldots\geq\lambda_p\geq0,$$

对应的标准正交化的特征向量为 $\boldsymbol{l}_1,\boldsymbol{l}_2,\ldots,\boldsymbol{l}_p$，则 $\boldsymbol{X}$ 的第 $i$ 个主成分为 $Y_i=\boldsymbol{l}_i^{\mathrm{T}}\boldsymbol{X}$，且

$$D(Y_i)=\lambda_i,\quad i=1,2,\ldots,p.$$

---

证明： 先验证 $Y_i\;(i=1,...,m)$ 的性质.

• $D\left({Y}_{i}\right)=D\left(\boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{X}\right)=\mathrm{Cov}(\boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{X},\boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{X})$
  
  • $=\boldsymbol{l}_{i}^{\mathrm{T}}\mathrm{Cov}(\boldsymbol{X}, \boldsymbol{X})\boldsymbol{l}_i=\boldsymbol{l}_{i}^{\mathrm{T}} {V} \boldsymbol{l}_{i}=\lambda_{i} \boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{l}_{i}=\lambda_{i}.$
• $i\ne j$ 时,
  
  • $\operatorname{Cov}\left({Y}_{i}, {Y}_{j}\right)=\operatorname{Cov}\left(\boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{l}_{j}^{\mathrm{T}} \boldsymbol{X}\right)$
    
    • $=\boldsymbol{l}_{i}^{\mathrm{T}}\operatorname{Cov}\left( \boldsymbol{X}, \boldsymbol{X}\right)\boldsymbol{l}_{j}=\boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{V} \boldsymbol{l}_{j}=\lambda_{i} \boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{l}_{j}=0.$

---

• 设 $Y=\boldsymbol{l}^{\mathrm{T}}\boldsymbol{X}$，$\boldsymbol{l}^{\mathrm{T}}\boldsymbol{l}=1$, 且 $\mathrm{Cov}(Y,Y_i)=0,\;i=1,2,\ldots,k-1$.
• 以下证明 $D(Y)\leq D(Y_k)$.
• 该问题可转换为求 $D(\boldsymbol{l}^{\mathrm{T}}\boldsymbol{X})$ 在 $\boldsymbol{l}^{\mathrm{T}}\boldsymbol{l}=1$ 和 $\mathrm{Cov}(Y,Y_i)=0$, $(i=1,2,\ldots,k-1)$ 的条件下的极值问题.
• 令 $\displaystyle f(\boldsymbol{l},\alpha,\beta_1,...,\beta_{k-1})=\boldsymbol{l}^{\mathrm{T}} \boldsymbol{V} \boldsymbol{l}-\alpha\left(\boldsymbol{l}^{\mathrm{T}} \boldsymbol{l}-1\right)-\sum_{i=1}^{k-1} \beta_{i} \boldsymbol{l}^{\mathrm{T}} \boldsymbol{l}_{i}$.
• 由 Lagrange 乘子法，令 $\bigtriangledown f=\boldsymbol{0}$.

---

• $\bigtriangledown f=\boldsymbol{0}$，也即：$\begin{cases} \dfrac{\partial f}{\partial \boldsymbol{l}}=2 \boldsymbol{V} \boldsymbol{l}-2 \alpha \boldsymbol{l}-\sum\limits_{i=1}^{k-1} \beta_{i} \boldsymbol{l}_{i}=\boldsymbol{0},\\ \dfrac{\partial f}{\partial \alpha}=-\left(\boldsymbol{l}^{\mathrm{T}} \boldsymbol{l}-1\right)=0,\\ \dfrac{\partial f}{\partial \beta_{i}}=-\boldsymbol{l}^{\mathrm{T}} \boldsymbol{l}_{i}=0, \quad i=1,2, \cdots, k-1. \end{cases}$
• 可以验证 $\boldsymbol{V}\boldsymbol{l}=\alpha \boldsymbol{l}$, $\beta_i=0,\;i=1,2,\ldots,k-1$ 满足以上方程组.
• 此时 $\alpha$ 和 $\boldsymbol{l}$ 恰为相互对应的特征值和特征向量.
• 注意到能够满足 $\mathrm{Cov}(Y,Y_i)=0$, $(i=1,2,\ldots,k-1)$ 的最大特征值为 $\lambda_k$，故 $\alpha=\lambda_k$, $\boldsymbol{l}=\boldsymbol{l}_k$.

---

主成分的性质

定理 设 $\boldsymbol{Y}=[Y_1\;Y_2\;\ldots\;Y_p]^{\mathrm{T}}$ 为 $p$ 维随机变量. $Y_i$ 是 $\boldsymbol{X}$ 的第 $i$ 个主成分 $(i=1,2,\ldots,p)$ 当且仅当以下两个条件同时成立：

1. $D(\boldsymbol{Y})=\mathrm{diag}(\lambda_1,\lambda_2,\ldots,\lambda_p)$, 其中 $\lambda_1\geq\lambda_2\geq\ldots\geq\lambda_p$ 为 $D(\boldsymbol{X})$ 的特征值.
2. $\boldsymbol{Y}=\boldsymbol{U}^{\mathrm{T}}\boldsymbol{X}$，其中 $\boldsymbol{U}=[\boldsymbol{l}_1\;\;\boldsymbol{l}_2\;\ldots\;\boldsymbol{l}_p]$，$\boldsymbol{l}_1,\boldsymbol{l}_2,\ldots,\boldsymbol{l}_p$ 为与 $\lambda_1,\lambda_2,\ldots,\lambda_p$ 相对应的标准正交特征向量.

---

主成分的贡献率

设 $D(\boldsymbol{X})$ 的特征值为 $\lambda_1\geq\lambda_2\geq\ldots\geq\lambda_p$.

• 称 ${\lambda_{i}}\bigg/{\sum\limits_{j=1}^{p} \lambda_{j}}$ 为 $\boldsymbol{X}$ 的第 $i$ 主成分的 贡献率 (Contribution Rate).
• 称 ${\sum\limits_{i=1}^{k}\lambda_{i}}\bigg/{\sum\limits_{j=1}^{p} \lambda_{j}}$ 为前 $k$ 个主成分的 累积贡献率 (Cumulative Contribution Rate).
• 选取主成分数量的一般原则：选取前 $k$ 个 $Y_1,Y_2,\ldots,Y_k$，使得它们的累积贡献率不低于 $85\% \sim 95 \%.$

---

例 设 $X_1,X_2,X_3$ 的协方差阵为

$$V=\left[\begin{array}{ccc}{1} & {-2} & {0} \\ {-2} & {5} & {0} \\ {0} & {0} & {2}\end{array}\right]$$

试求各主成分与累积贡献率.

---

解：

• 先求出 $V$ 的特征值：$\lambda_{1}=5.83 \quad \lambda_{2}=2.00 \quad \lambda_{3}=0.17$.
• 再求对应特征值的单位特征向量：$\boldsymbol{u}_{1}=\left[\begin{array}{c}{0.383} \\ {-0.924} \\ {0.000}\end{array}\right], \boldsymbol{u}_{2}=\left[\begin{array}{l}{0} \\ {0} \\ {1}\end{array}\right], \quad \boldsymbol{u}_{3}=\left[\begin{array}{c}{0.924} \\ {-0.383} \\ {0.000}\end{array}\right]$.
• 第一主成分：$Y_{1}=\boldsymbol{u}_{1}^{\mathrm{T}} \boldsymbol{X}=0.383 X_{1}-0.924 X_{2}$，贡献率：$\displaystyle \dfrac{\lambda_{1}}{\lambda_{1}+\lambda_{2}+\lambda_{3}}=\frac{5.83}{8}=72.875 \%$.
• 第二主成分：${Y}_{2}=\boldsymbol{u}_{2}^{\mathrm{T}} \boldsymbol{X}={X}_{3}$，累积贡献率：$\displaystyle \dfrac{\lambda_{1}+\lambda_{2}}{\lambda_{1}+\lambda_{2}+\lambda_{3}}=\frac{7.83}{8}=97.875 \%$.

---

PCA 在数据压缩中的应用

• 假设有容量为 $n$ 的 $p$ 维数据（样本观测值）: $\boldsymbol{X}_i=[x_{i1}\;x_{i2}\;\ldots\;x_{ip}],\;i=1,2,\ldots,n$.
• 计算各样本的相关系数：$r_{i j}=\dfrac{\sum\limits_{l=1}^{n}\left(x_{l i}-\bar{x}_{i}\right)\left(x_{l j}-\bar{x}_{j}\right)}{\sqrt{\sum\limits_{l=1}^{n}\left(x_{l i}-\bar{x}_{i}\right)^{2} \sum\limits_{l=1}^{n}\left(x_{l j}-\bar{x}_{j}\right)^{2}}}$
• 记 $\hat{\boldsymbol{\Sigma}}_{x}=\left[r_{ij}\right]_{p \times p}$，求出 $\hat{\boldsymbol{\Sigma}}_{x}$ 的特征值 $\lambda_1\geq\lambda_2\geq\ldots\geq\lambda_p$ 和对应的特征向量 $\boldsymbol{u}_1,\boldsymbol{u}_2,\ldots,\boldsymbol{u}_p$.

---

• 计算累积贡献率，确定主成分个数 $m$，满足 $\dfrac{\sum\limits_{i=1}^{m} \lambda_{i}}{\sum\limits_{j=1}^{p} \lambda_{j}} \in \left(85 \% \sim 95 \%\right)$.
• 计算得到主成分：$Y_i=\boldsymbol{u}_i^{\mathrm{T}}\boldsymbol{X},\;(i=1,2,\ldots,m)$.

---

例：健康程度的刻画

在对某中学初中学生进行体检的过程中，测量了身高($X_1$)， 体重($X_2$)，胸围($X_3$)，坐高($X_4$). 现得到 $58$ 个学生的样本值. 经计算得到样本相关矩阵

$$V=\left[\begin{array}{c}{1} & {0.4844} & {0.3224} & {0.7034} \\ {0.4844} & {1} & {0.8872} & {0.5976} \\ {0.3224} & {0.8872} & {1} & {0.3125} \\ {0.7034} & {0.5976} & {0.3125} & {1}\end{array}\right]$$

试求各主成分.

---

解：

• 先求出 $V$ 的特征值：$\lambda_{1}=2.6682, \lambda_{2}=0.9647, \lambda_{3}=0.3125, \lambda_{4}=0.0546$.
• 再求对应的特征向量：$\boldsymbol{u}_{1}=\left[\begin{array}{c}{0.4621} \\ {0.5642} \\ {0.4806} \\ {0.487}\end{array}\right], \boldsymbol{u}_{2}=\left[\begin{array}{c}{0.5333} \\ {-0.3405} \\ {-0.604} \\ {0.4846}\end{array}\right], \boldsymbol{u}_{3}=\left[\begin{array}{c}{-0.706} \\ {0.1743} \\ {-0.1933} \\ {0.6586}\end{array}\right], \boldsymbol{u}_{4}=\left[\begin{array}{c}{-0.0601} \\ {-0.7317} \\ {0.6056} \\ {0.307}\end{array}\right]$
• 第一主成分: $Y_{1}=\boldsymbol{u}_{1}^{\mathrm{T}} \boldsymbol{X}=0.4621 X_{1}+0.5642 X_{2}+0.4806 X_{3}+0.487 X_{4}.$
  
  • 贡献率：$\displaystyle \dfrac{\lambda_{1}}{\lambda_{1}+\lambda_{2}+\lambda_{3}+\lambda_{4}}=\frac{2.6682}{4}=66.7 \%.$
• 第二主成分: $Y_{2}=\boldsymbol{u}_{2}^{\mathrm{T}} \boldsymbol{X}=0.5333 X_{1}-0.3405 X_{2}-0.604 X_{3}+0.4846 X_{4}.$
  
  • 累积贡献率：$\displaystyle \dfrac{\lambda_{1}+\lambda_{2}}{\lambda_{1}+\lambda_{2}+\lambda_{3}+\lambda_{4}}=\frac{3.6329}{4}=90.8 \%.$

---

标准化变量的主成分

• 在实际问题中，$\boldsymbol{X}$ 的各个分量的意义不同，因而量纲往往也不同.
• 量纲的差异常常会影响到协方差阵的特征根与特征向量，从而影响到主成分的选取.
• 为消除量纲差异的影响，可以考虑将变量标准化：令 ${X}_{i}^{*}=\dfrac{{X}_{i}-E(X_i)}{\sqrt{D(X_i)}}$.
• $D(\boldsymbol{X}^*)$ 称为 $\boldsymbol{X}$ 的 相关矩阵 (Correlation Matrix).
• 利用相关矩阵求主成分，称为 $\boldsymbol{X}$ 的 标准化变量的主成分.

---

PCA的发展与推广

• Sparse PCA
  
  • 利用数据自身的稀疏特征，添加一些规则，只使用 $X$ 的部分分量来构造 $Y$.
  • 有效提高数据处理的效率.
• Robust PCA
  
  • 野值的存在往往对严重影响 PCA 的效果.
  • 通过添加数据的预处理环节，剔除野值，提高 PCA 的效果.

---

Nonlinear PCA

• 利用非线性的曲线或流形来构造主成分.
• 通常需要对数据的几何结构有所了解.
• 代表性的分支:
  
  • elastic map
  • principal geodesic analysis
  • kernel PCA
  • multilinear PCA (MPCA)
  • N-way PCA

---

小结

• 主成分分析
  
  • 主成分的概念
  • 主成分的计算
  • 贡献率与累积贡献率