高斯分布推导 极坐标积分公式 雅可比矩阵

PRML 机器学习

---

《PRML》第一章的练习需要证明高斯分布的归一化条件，想了一下干脆看看高斯分布是怎么推导出来的吧。证明归一化需要把笛卡尔坐标系$(x,y)$变换到极坐标系$(r,\theta)$，积分计算公式很简单：$\mathrm{d}x \mathrm{d}y = r \mathrm{d}r \mathrm{d}\theta$，但该公式是怎么得到的？查了一下发现与换元积分关，用到的是雅可比矩阵

---

正太分布推导

这部分主要参考《正太分布的前生今世》，那篇文章介绍了四种推导方法，这里只介绍其中两种

高斯

首先高斯作了一个假定：真实值的极大似然估计 $=$ 算数平均值

设真实值为$\theta$，有$n$个独立的观测值$x_1,\cdots,x_n$，则每次测量的误差为$e_i=x_i-\theta$，误差的密度函数为$f(e)$，那么$n$个误差的联合概率为

$$\begin{align*} L(\theta) &= L(\theta;x_1,\cdots,x_n) \\ & = f(e_1)\cdots f(e_n) \\ & = f(x_1-\theta)\cdots f(x_n-\theta) \end{align*}$$
求极值
$$\begin{align*} \partial \mathrm{log} L(\theta) & = \sum_{i=1}^n \frac{\frac{\partial f(x_i-\theta)}{\partial (x_i-\theta)}\cdot \frac{\partial (x_i-\theta)}{\partial \theta}}{f(x_i-\theta)} \\ & = \sum_{i=1}^n \frac{-1\cdot f'(x_i-\theta)}{f(x_i-\theta)} \\ & = 0 \end{align*}$$
令$g(x) = \frac{f'(x)}{f(x)}$，
$$\sum_{i=1}^n g(x_i-\theta) = 0$$
由于前面假设的真实值的极大似然估计 $=$ 算数平均值，则，最优解$\hat\theta = \bar{x} = \frac{1}{n}\sum_{i=1}^nx_i$，带入上式得
$$\sum_{i=1}^n g(x_i-\bar x) = 0$$
令$n=2$，$x_1-\bar x = \frac{x_1-x_2}{2} = -(\frac{x_2-x_1}{2}) = -(x_2-\bar x)$
$$g(x_1-\bar x) + g(x_2-\bar x) = 0$$
$$g(-x) = -g(x)$$
然后取$n = m+1$，并且$x_1=x_2=\cdots=x_m=-x$，$x_{m+1} = mx$，$\bar x = 0$
$$\sum_{i=1}^n = mg(-x)+g(mx) = 0$$
得， $$g(mx) = mg(x)$$
然后解该方程，这里对方程左右两端均对$x$求偏导
$$\frac{\partial g(mx)}{\partial(mx)} \cdot \frac{\partial (mx)}{\partial x} = m\cdot \frac{\partial g(x)}{\partial x} \\ mg'(mx) = mg'(x) \\ g'(mx) = g'(x)$$
这里相当于$f(x) = f(mx)$，把$f(x)$的横坐标拉伸$m$倍还是自身，得，$f(x) = C$，$C$为一常数，则这里$g'(x) = C$，$g(x) = Cx$
然后解微分方程
$$\begin{align*} & \frac{f'(x)}{f(x)} = Cx \\ & \frac{\mathrm{d}f}{\mathrm{d}x \cdot f} = Cx \\ & \frac{1}{f}\mathrm{d}f = Cx\mathrm{d}x \\ & \mathrm{ln}f = \frac{1}{2}Cx^2 + \mathrm{ln}M \\ & f = Me^{\frac{1}{2}Cx^2} \end{align*}$$
由于$f(x)$为概率密度，所以$\int f(x)\mathrm{d}x=1$，然后要求出来归一化项，这就是PRML练习1.7

兰登

一元高斯分布的归一化

设正太分布

$$f(x) = Me^{-\frac{1}{2\sigma^2}x^2}$$
其满足$\int_{-\infty}^{+\infty}f(x) = 1$，设 $$I = \int_{-\infty}^{+\infty} e^{-\frac{1}{2\sigma^2}x^2} \mathrm{d}x$$
则$M = \frac{1}{I}$，由于上式是轴对称的，所以使用了一个小技巧
$$\begin{align*} I^2 & = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}e^{-\frac{1}{2\sigma^2}(x^2+y^2)}\mathrm{d}x\mathrm{d}y \end{align*}$$
然后把笛卡尔坐标系转换到极坐标系
$$\left\{\begin{matrix} x = r\cos(\theta) \\ y = r\sin(\theta) \end{matrix}\right.$$
积分变换公式为$\mathrm{d}x\mathrm{d}y = r\mathrm{d}r\mathrm{d}\theta$，后面讲该公式的推导
原式变为
$$\begin{align*} I^2 & = \int_{0}^{+\infty}\int_{0}^{2\pi}e^{-\frac{1}{2\sigma^2}r^2}r\mathrm{d}\theta\mathrm{d}r \\ & = 2\pi\cdot \int_{0}^{+\infty}r\cdot e^{-\frac{1}{2\sigma^2}r^2}\mathrm{d}r \\ & = 2\pi\cdot \int_{0}^{+\infty}\frac{1}{2}\cdot e^{-\frac{1}{2\sigma^2}r^2}\mathrm{d}r^2 \\ & = \left. 2\pi \cdot \frac{1}{2} \cdot -2\sigma^2\cdot e^{-\frac{1}{2\sigma^2}r^2} \right|_0^{+\infty} \\ & = 2\pi\sigma^2 \end{align*}$$
故，
$$M = \frac{1}{\sqrt{2\pi\sigma^2}}$$

极坐标积分公式推导

笛卡尔坐标系的基底$(x,y)$，我们要把其转换到极坐标系的基底$(r,\theta)$表示，并且坐标变换公式满足：

$$\left\{\begin{matrix} x = r\cos(\theta) \\ y = r\sin(\theta) \end{matrix}\right.$$
现在要求其积分变换公式，就是说要推导出$\mathrm{d}x\mathrm{d}y = r\mathrm{d}r\mathrm{d}\theta$
积分相当于函数构成的面积，$\mathrm{d}x\mathrm{d}y$相当于在笛卡尔坐标系下最小单位元的面积，同理$\mathrm{d}r\mathrm{d}\theta$相当于在极坐标系下最小单位元的面积，在积分变换中要保持面积不变，也就是说函数在笛卡尔坐标系下的积分 $=$ 在极坐标系下的积分，只是换了一种计算形式
我们知道极坐标下的面积计算公式为$S=\frac{\theta}{2\pi}\cdot \pi r^2 = \frac{1}{2}\theta r^2$，则
$$\mathrm{d}x\mathrm{d}y = \frac{1}{2}\mathrm{d}r^2 \mathrm{d}\theta = r\mathrm{d}r\mathrm{d}\theta$$

雅可比式与积分变换

这部分主要参照如何理解雅可比式-希腊橄榄
设$f:\mathbb{R}^n\mapsto \mathbb{R}^m$，相当于函数$f$把一个$n$元的$i$向量映射为一个$m$元的向量$f(x)$，映射$f$的雅可比矩阵相当于$f(x)$的每一个分量对每一个$x$的分量的偏导组成的矩阵

$$\mathbf{J}_f = \left[ \frac{\partial\boldsymbol{f}}{\partial x_1} \cdots \frac{\partial\boldsymbol{f}}{\partial x_n} \right] = \begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial f_n}{\partial x_1} & \cdots & \frac{\partial f_n}{\partial x_n} \\ \end{bmatrix}$$
其分量形式为$\mathbf{J}_{ij} = \frac{\partial f_i}{\partial x_j}$，雅可比矩阵$\mathbf{J}_f(\boldsymbol{x})$表示函数$f$在$\boldsymbol{x}$点处的导数，这样就可以得出$f$在$\boldsymbol{p}$点的最佳线性近似
$$\boldsymbol{f(x) = f(p) + \mathbf{J}_f(p)\cdot(x-p) + o(\parallel x-p \parallel)}$$
这就相当于变量$\boldsymbol{x}$在$\boldsymbol{p}$点的增量$\boldsymbol{\Delta x}$在$f$的作用下变成了$\mathbf{J}_f(\boldsymbol{p})\Delta \boldsymbol{x}$，现在假设$n = m$即$f$不改变象元个数，$(v_1,\cdots,v_n) = f(u_1,\cdots,u_n)$，那么
$$\mathrm{d}v_1\cdots\mathrm{d}v_n = \left| \mathbf{J}_f \right|\mathrm{d}u_1\cdots\mathrm{d}u_n$$

例如上面的笛卡尔坐标系变换到极坐标系$(x,y)=f(r,\theta)$

$$\left\{\begin{matrix} x = r\cos(\theta) \\ y = r\sin(\theta) \end{matrix}\right.$$
则雅可比式为
$$\mathbf{J}_f = \begin{bmatrix} \cos\theta & -r\sin\theta \\ \sin\theta & r\cos\theta \end{bmatrix}$$
积分变换公式为
$$\mathrm{d}x\mathrm{d}y = \left| \mathbf{J}_f \right|\mathrm{d}r\mathrm{d}\theta = r\mathrm{d}r\mathrm{d}\theta$$

Reference

• 正太分布的前世今生
• 如何理解雅可比式-希腊橄榄