(六)实对称矩阵

线性代数 机器学习基础

---

实对称矩阵的性质

实对称矩阵是一种非常重要的方阵，SVD的由来很大程度上源于实对称矩阵的重要性质。上一篇总结中，简单地回顾了特征分解的几个重要知识点，其中最后有谈论到一个方阵，究竟在什么时候，可以具有$n$个标准正交的特征向量？由于我当前并不清楚，所以也没有给出总结，但是实对称矩阵具有这样的特性。对于任意实对称矩阵而言，它具有如下性质：

• 任何实对称矩阵的特征值都是实数
• 对于$n \times n$的实对称矩阵，我们可以找到$n$个标准正交(orthonormal)的特征向量构成它的特征空间

这里边需要强调的是，实对称矩阵的特征向量是可以找到$n$个标准正交的特征向量，这说明在实际中，特征向量不一定需要是单位向量，只不过我们可以把它们归一化成单位向量而已。这个时候，实对称矩阵$A$可以被对角化成

$$A=Q\Lambda Q^{T} \tag{1}$$ 的形式，对角化实际上就是特征分解所对应的矩阵分解形式，就像高斯消元法可以对应到LU分解一样，通过分解矩阵，得到了矩阵的重要特性。

对于实对称矩阵的这两个性质来说，并不那么直观，所以必要的证明是需要的(如果可以对应到几何上边的理解，那自然更好了，不过我目前还不清楚，以后知道了再回头修改)。

实对称矩阵的所有特征值都是实数

假定$\lambda$是实对称矩阵$A$的一个复数特征值，那么它的共轭复数为$\overline{\lambda}$，由

$$Ax=\lambda x \tag{2}$$ 可以得到 $$A\overline{x}=\overline{\lambda}\overline{x} \implies \overline{x}^{T}A^{T}=\overline{x}^{T}\overline{\lambda}=\overline{x}^{T}A \tag{3}$$ 所以 $$\overline{x}^{T}Ax=\overline{x}^T\overline{\lambda}x=\overline{x}^{T}\lambda x \implies \lambda=\overline{\lambda} \tag{4}$$ 由于$\overline{x}^{T}x$是求取了向量长度的平方，所以实对称矩阵的特征值只能够是实数。
上边的推导源于这样一个结论，那就是对于任意实数矩阵来说，复数特征值和特征向量之间直接构成了共轭对，即 $$Ax=\lambda x \implies A\overline{x}=\overline{\lambda}\overline{x} \tag{5}$$ 这涉及到了复数矩阵的东西，以后的篇章中再总结。就特征值为复数的情况下，存在一种旋转的概念，引用一个知乎上边的解答，此“旋转”非彼“旋转”。一个n维的复数矩阵，表示的是n维复空间上的变换。这个东西不太好想象，所以你可以把它看作是一个2n维实空间上的变换，但这个2n维实空间里，维度是两两成对的，每一对维度对应着复空间上的一维。复特征值对应的特征向量，在实空间里经过变换确实会“旋转”，但只会旋转到同一对维度中的另一个维度上去。这两个维度在复空间中是同一个维度，就不算“旋转”了。只有在实空间中旋转到同一对维度以外的维度上的旋转，在复空间中才是“旋转”。我觉得这个描述比较直观，所以摘录到了这里，但是本质上，复数矩阵的含义我认为更多，这个以后再总结，这里就暂时略过去了。

$n \times n$的实对称矩阵$A$存在$n$个标准正交的特征向量

首先来看不同特征值的情况，假定$\lambda_{1}, \lambda_{2}$分别为$A$的特征值，它们对应的特征向量是$x, y$，那么

$$\lambda_{1} \neq \lambda_{2} \implies (\lambda_{1}x)^{T}y=(Ax)^{T}y=x^{T}Ay=x^{T}\lambda_{2}y \implies x^{T}y=0 \tag{6}$$ 所以，如果实对称矩阵的所有特征值都不同，那么找到的特征向量必然是互相正交的。由于这些特征向量相互正交，并且只需要满足$Ax=\lambda x$的形式即可，所以我们可以对这些向量进行归一化处理(generalize)，这样它们就是标准正交的了，所以等式1那种对角化表达式成立。
上边的证明利用了对称性和两个特征向量点乘的形式得到了结论，但是假如$A$存在重数大于1的特征值呢？在上一篇总结中已经知道，具有重数的特征值也有可能对应到线性无关的特征向量。所以在此情况下，应该还是可以找到正交的特征向量。不过由于我这里没有直观的理解，所以详细的证明就略过了。

@fsfzp888
2018 年 04月 15日