纯纯的数学来一波

特征值分解 奇异值分解 行列式 积分

参考：
neural network for pattern recognition, bishop 1995

---

特征值分解

矩阵 $A\in R^{n\times n}$，
n个特征值 $\lambda_1,...,\lambda_n$,
n个特征（列）向量 $u_1,...,u_n$

$$Au_k=\lambda_k u_k , \ \ \ k=1,...,n$$
矩阵的行列式值等于特征值乘积 $|A|=\prod_i \lambda_i$。
矩阵的迹等于特征值之和 ${\rm Tr}(A)=\sum_i \lambda_i$。

A的特征值是$\lambda_1,...,\lambda_n$，则 $A^{-1}$的特征值是 $\frac{1}{\lambda_1},...,\frac{1}{\lambda_n}$。
A的特征值是$\lambda_1,...,\lambda_n$，则 $A+\alpha I$的特征值是 $\lambda_1+\alpha,...,\lambda_n+\alpha$。

特征向量的长度不确定，将其固定为1： $\|u_k\|=\sqrt{u_k^Tu_k}=\sqrt{\sum_i u_{ki}^2}=1$
对称矩阵A的特征值分解，还可以取到一组正交的特征向量： $u_k^Tu_j=\delta_{kj}$ (如果k=j则为1否则为0）

长度为1 且正交的一组特征向量 $u_1,...,u_n$可以作为$R^n$空间的基，任意向量$w\in R^n$可以线性表示为 $w=\sum_k \alpha_k u_k$

将特征向量写成矩阵，每一列是一个特征向量 $U=(u_1,...,u_k)$

。

---

行列式 determinant det(A) |A|

倒置的行列式值不变 $|A^T|=|A|$
矩阵的行列式值等于特征值乘积 $|A|=\prod_i \lambda_i$
方块儿矩阵的乘积的行列式可以分开 $|AB|=|A||B|$

---

Jacobian矩阵

Jacobian矩阵: 向量对向量的一阶导，

$$J_f(x)=\left[ \frac{d f_i}{d x_j} \right]_{ij}$$

$$\int_X f(x){\rm d} x=\int_A f(x(a)) \left| \left[ \frac{d x_i}{d a_j}\right]_{ij}\right| {\rm d} a$$

---

高斯积分（指数e相关的）

指数定积分

$$\int_0^{+\infty} e^{-x} dx=-\int_{0}^{-\infty} e^{u}du=-(e^{-\infty}-e^0)=1$$

积分换元：

$$\int_X f(x){\rm d} x=\int_A f(x(a)) \left| \left[ \frac{d x_i}{d a_j}\right]_{ij}\right| {\rm d} a$$

单个变量的高斯积分

$$\int \exp \left(-\frac{\lambda}{2}x^2 \right) dx =\sqrt{ \frac{2\pi}{\lambda} }$$

解：
$A=\int \exp \left(-\frac{\lambda}{2}x^2 \right) dx,$
$A^2=\int \exp \left(-\frac{\lambda}{2}x^2 \right) dx\int \exp \left(-\frac{\lambda}{2}y^2 \right) dy=\int \exp (-\frac{\lambda}{2}x^2-\frac{\lambda}{2} y^2) dxdy$
$(x,y)=(r\sin \theta,r\cos \theta)$ ,
$J(r,\theta)=(\sin\theta,r\cos \theta;\cos \theta,-r\sin\theta)$,
$d(x,y)=\left|J(r,\theta)\right|{\rm d}r{\rm d}\theta=r {\rm d}r{\rm d}\theta$
$A^2=\int_{0}^{\infty}\int_0^{2\pi} \exp (-\frac{\lambda}{2}r^2)r{\rm d}r{\rm d}\theta =2\pi\frac{1}{2} \int \exp (-\frac{\lambda}{2}r^2){\rm d}r^2 =\pi \int_0^{\infty} \exp (-\frac{\lambda}{2}u){\rm d}u =\pi\frac{2}{\lambda} \int \exp (-\frac{\lambda}{2}u){\rm d}\frac{\lambda}{2}u =\frac{2\pi}{\lambda}$
$A=\sqrt{ \frac{2\pi}{\lambda} }$ 得解。

多个变量$x=(x_1,...,x_n)$的联合高斯积分

$$\int \exp \left(-\frac{1}{2}x^TAx \right) dx =\frac{(2\pi)^{ \frac{n}{2} }}{\sqrt{|A|}}$$
解：
A为对称矩阵，对A做特征分解，取 单位长度、彼此正交的 特征向量，
把x用特征向量线性表示，将对x的积分转换成对线性表示的系数的积分，

$$\int \exp \left(-\frac{1}{2}x^TAx + h^T x \right) dx =\frac{(2\pi)^{ \frac{n}{2} }}{\sqrt{|A|}} \exp\left( \frac{1}{2}h^TA^{-1}h \right)$$