(十三)协方差矩阵的几何解释和多重高斯分布

参数估计 线性代数 数理统计

---

这篇文章，总结之前阅读的这篇文章学到的知识点，即协方差矩阵的几何意义，同时利用几何解释，介绍多重高斯分布如何从标准单变量的高斯分布推导出来。主要涉及如下内容：

协方差矩阵的定义
协方差矩阵所体现的数据分布的几何意义
多重高斯分布的推导

协方差矩阵的定义

协方差矩阵一般出现在多重高斯分布的表达式中：

$$p(x;\mu,\Sigma)=\frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) \tag{1}$$
其中$\mu$是列向量$x$的平均值构成的向量，而$\Sigma$即协方差矩阵。对于任意列向量来$Z$来说，其协方差矩阵的定义为：
$$Cov(Z)=E[(Z-E(Z))(Z-E(Z)^T] \\ =E[ZZ^T]-(E[Z])(E[Z])^T \tag{2}$$
列向量减去自身的均值向量，而后和自己的转置相乘，将会得到一个矩阵，参考两个变量之间的协方差的定义：
$$Cov(x,y)=E[(x-E(x))(y-E(y))] \tag{3}$$
可以知道，得到的矩阵的第$c_{ij}$个变量就是第$i$维的变量和第$j$维的变量的协方差，而且$c_{ij}=c_{ji}$，所以这个矩阵是对称的，而且由这个矩阵的变换功能本身来看，也必定至少是半正定的(positive semi-definite)。
对等式2来说，之所以等于$E(ZZ^T)-(E[Z])(E[Z)])^T$是基于矩阵的第$ij$个元素有：
$$\sigma(z_i,z_j)=E[(z_i-E(z_i))(z_j-E(z_j))]\\ =E[z_iz_j-E(z_i)z_j-E(z_j)z_i+E(z_i)E(z_j)] \\ =E[z_iz_j]-\mu_iE(z_j)-\mu_jE(z_i)+\mu_i\mu_j\\ =E[z_iz_j]-\mu_i\mu_j \tag{4}$$
所以可得到等式2
期望和方差也有值得留意的两个性质，比如，如果随机变量$X$和$Y$相互独立，那么：
$$E(XY)=\Sigma_i\Sigma_jx_iy_jp(x_i,y_j)\\ =\Sigma_ix_ip(x_i)\Sigma_jy_jp(y_j)\\ =E(X)E(Y) \tag{5}$$
对方差来说：
$$Var(X)=E[(x-\mu)^2]=\Sigma_x(x-\mu)^2p(x)\\ =\Sigma_x(x^2-2x\mu+\mu^2)p(x)\\ =\Sigma_xx^2p(x)-\Sigma_x2\mu xp(x)+\mu^2\\ =\Sigma_xx^2p(x)-\mu^2\\ =E(x^2)-E(x)^2 \tag{6}$$
上边的等式5和6这里列出来只是复习一下，让我们看到方差和期望的一些性质
其实单从协方差矩阵，我们没有办法有什么过于深入的认识，对于一维的高斯分布来说，比如：

我们可以看到，均值就是高斯分布中心的位置，而方差则描述了数据分布离均值的情况，方差越大，表面数据相对于中心点越是分散，越小，表明离中心点越是密集，所以方差用来描述数据离开中心均值的离散程度
如果随机变量服从高斯分布，而且均值已知，那么方差的估计值为：
$$\sigma=\frac{1}{N}\Sigma(x-\mu)^2 \tag{7}$$
如果均值$\mu$和方差均为估计值，那么此时：
$$\mu=\frac{\Sigma x}{N} \tag{8}$$
而方差的无偏估计则是：
$$\sigma=\frac{1}{N-1}\Sigma(x-\mu)^2 \tag{9}$$
之所以方差在两种情况下有差异，一个是除以$N$，一个是除以$N-1$，这个和在假定变量为高斯分布的时候，均值是否可知有关，详情可以参考这篇文章
那多重高斯分布所对应的协方差矩阵又有什么意义呢？

协方差矩阵所体现的数据分布的几何意义

通过协方差的定义和协方差的组织形式我们可以知道，协方差描述了变量数据在各个方向上的分布，比如如下所示就是二维的数据点的一个分布：

$x$和$y$方向的数据成正相关分布，因为$x$增大，$y$也跟着具有这种趋势，这个数据的分布情况，可以用协方差矩阵表示：

$$\Sigma = \begin{bmatrix} \\ \sigma(x,x) & \sigma(x,y) \\ \sigma(y,x) & \sigma(y,y) \\ \end{bmatrix} \tag{10}$$
对于不同的二维协方差矩阵，数据分布：

矩阵的特征值分解

通过看这些图的数据分布情况，隐约感觉到了一种趋势，实际上对于矩阵来说，特别是对称的方阵，通常我们可以进行特征值分解，而特征向量的方向，往往就是矩阵变换作用的方向。一个矩阵乘以一个向量，其实就是把向量投影到自身的列空间中，对于方阵而言，乘以一个向量，可以把向量投影到各个特征向量方向分别计算然后组合形成最终的结果，所以特征向量描述了矩阵变换的特性。
对于标准单位向量$v$而言，最大化$v^T\Sigma v$的值的问题，可以被转化为求解瑞利商(Rayleigh Quotient)，其最大的方向$v$就是矩阵$\Sigma$的具有最大特征值的特征向量方向。
由于一个变换矩阵，可以由其特征向量和特征值完整描述，应用到协方差矩阵来说，这意味着:

$$\Sigma v=\lambda v \tag{11}$$
其中$v$为特征向量，$\lambda$为特征值
如果协方差矩阵为对角矩阵，那么这个矩阵的主要功能就是把各个坐标分量进行拉伸，比如：

但是如果协方差矩阵不是对角矩阵，那么数据分布则会类似于下图这样：

对比上下两个图，虽然不是对角矩阵的情况更为复杂，但是从趋势来说，下图只是上图旋转后的结果
如果我们把变换矩阵$T$定义为：
$$T=RS \tag{12}$$
其中$R$为旋转矩阵，比如：
$$R = \begin{bmatrix}\\ cos(\theta) & -sin(\theta) \\ sin(\theta) & cos(\theta) \\ \end{bmatrix} \tag{13}$$
$S$为拉伸矩阵，比如：
$$S = \begin{bmatrix}\\ s_1 & 0\\ 0 & s_2\\ \end{bmatrix} \tag{14}$$
且$s_1$和$s_2$分别为两个方向上的拉伸因子
那么协方差矩阵其实可以被这样拆解成两个变换成分，一个是拉伸变换成分，一个是旋转变换成分，我们可以通过依次应用这两个成分得到任意协方差矩阵
比如，如下所示是高斯白噪声对应的二维数据分布：

其对应的协方差矩阵是：
$$\Sigma = \begin{bmatrix}\\ 1 & 0\\ 0 & 1\\ \end{bmatrix}$$
这个图像，很好的体现了高斯白噪声的数据分布，此时方差为1，均值为0，这个时候，如果我们让各个数据点乘以拉伸矩阵呢？此时：
$$x^{'}=Sx$$
如果
$$S = \begin{bmatrix}\\ 5 & 0\\ 0 & 1\\ \end{bmatrix}$$
那么原先白噪声高斯分布的图像就会变成这样：

可以看到，数据点在$x$方向上拉伸了，这样可以知道，拉伸矩阵的作用就是让各个数据点在各个放下上更加分散，这样方差也就对应的大了
此时再应用旋转矩阵，可以得到
$$y = Rx^{'}$$
那么最终的图像就会变成数据分布一般的情况：

所以
$$y = RSx$$
计算变换后的协方差矩阵的时候，由于均值为0，其实就是：
$$Cov(Y)=E[(RSx)(RSx)^T]=E[RSxx^TS^TR^T]\\ =RSE[xx^T]S^TR^T=RSISR^T\\ =RS^2R^T\tag{15}$$
上边由于$xx^T$是一个数，所以可以提取出来，而且$R$是标准正交的矩阵，$S$是对角矩阵
可以看到，对原始白噪声数据变换后的结果，求取协方差矩阵只会包含旋转变换矩阵和拉伸矩阵

多重高斯分布的推导

其实上边这种先从标准数据，然后应用变换的思路，可以应用于多重高斯分布的表达式的推导
对于一维的标准正态分布来说，其表达式等于：

$$p(x;0,1)=\frac{1}{(2\pi)^{\frac{1}{2}}}exp(-\frac{x^2}{2}) \tag{16}$$
对于多重变量的标准正态分布，由于各个变量之间相互独立，所以联合概率密度等于：
$$p(x_1,x_2,...,x_n;0,1)=p(x_1;0,1)p(x_2;0,1)...p(x_n;0,1)\\ =\frac{1}{(2\pi)^{\frac{n}{2}}}exp(-\frac{\Sigma_ix_i^2}{2})\\ =\frac{1}{(2\pi)^{\frac{n}{2}}}exp(-\frac{x^Tx}{2}) \tag{17}$$
可以看到，由于均值为0，且各个方向上的方差均为1，还是比较均匀的，这个时候，如果想要生成通常情况下的高斯分布，那么我们可以像上一小节那样，把标准的$x$向量进行旋转拉伸变换，然后加上平移向量进行平移变换，这个时候有
$$y=RSx+\mu \tag{18}$$
所以，我们可以得到
$$x=(RS)^{-1}(y-\mu) \tag{19}$$
结合概率密度的积分函数，我们知道：
$$1=\int...\int p(x_1,...,x_n)dx\\ =\int...\int \frac{1}{(2\pi)^{\frac{n}{2}}}exp(-\frac{x^Tx}{2}) dx \tag{20}$$
对于多重变量微积分来说，由于有等式18的关系，所以微元有：
$$dy=|RS|dx \tag{21}$$
这里边的微元是对于向量的微元，可以认为$dx=dx_1dx_2...dx_n$，而$|RS|$则是求解行列式，行列式的几何意义就是方阵的行/列向量所构成的超平行多面体的有向体积，具有线性关系的向量之间的变换的微元的体积之间的比例因子，就是这个变换方阵的行列式，这一点涉及多变量微积分，这里我也不算是很清楚，不过有了等式21和19后，带入20即可得到：
$$1=\int...\int p(x_1,...,x_n)dx\\ =\int...\int \frac{1}{(2\pi)^{\frac{n}{2}}}exp(-\frac{x^Tx}{2})dx \\ =\int...\int \frac{1}{(2\pi)^{\frac{n}{2}}|RS|}exp(-\frac{((RS)^{-1}(y - \mu))^T((RS)^{-1}(y - \mu))})dy\\ = \int...\int \frac{1}{(2\pi)^{\frac{n}{2}}|RS|}exp(\frac{(y-\mu)^{T}(S^{-1}R^{-1})^T(S^{-1}R^{-1})(y - \mu)}{2})dy\\ = \int...\int \frac{1}{(2\pi)^{\frac{n}{2}}|RS|}exp(\frac{(y-\mu)^{T}RS^{-1}S^{-1}R^T(y - \mu)}{2})dy \tag{22}$$
这里边利用了$S$为对角矩阵，所以$S^T=S$，其逆矩阵也是如此，而$R$为旋转标准正交矩阵，所以$R^{-1}=R^T$，这个时候，如果$\Sigma=RSSR^T$，那么
$$\Sigma^{-1}=RS^{-1}S^{-1}R^T$$
$$|RS|=|\Sigma|^{\frac{1}{2}}$$
所以带入等式22就可以得到等式1中的多重高斯分布了，此时多重高斯分布之所以是这个形式的原因就非常明显了！

参考资料

1. A geometric interpretation of the covariance matrix

@fsfzp888
2019 年 04月