机器学习 杂记

机器学习

熵，条件熵，相对熵（KL散度），交叉熵

所有的熵都是针对分布来说的，表达系统的混乱程度

• 熵随机变量$X$服从分布$p(x)$：
  $$H(p) = \sum_xp(x)\log\frac{1}{p(x)} = - \sum_x p(x)\log p(x)$$
• 条件熵，有条件概率$p(y\mid x)$，在$x$的所有位置都对应一个条件概率分布，此时对应的熵为$H(Y\mid X = x) = - \sum_{y}p(y\mid x)\log p(y\mid x)$，则对应整个系统的条件熵为各自熵的期望
  $$\begin{split} H(Y\mid X) & = \sum_x p(x)H(Y\mid X = x) \\ & = \sum_x p(x)\small \sum_y p(y\mid x) \log p(y\mid x) \\ & = \sum_x\sum_y p(x)p(y\mid x)\log p(y\mid x) \\ & = \sum_{x,y} p(y,x)\log p(y\mid x) \end{split}$$
• 相对熵（KL散度）用来描述两个分布$p(x)$和$q(x)$之间的差异，常用于变分推断中最小化相对熵得到假设估计分布$Q$的具体形式
  $$\begin{split} D_{KL}(p \mid\mid q) & = \sum_x p(x)\log \frac{p(x)}{q(x)} \\ & = E_{p(x)}\bigg[\log\frac{p(x)}{q(x)}\bigg] \end{split}$$
• 交叉熵，对于分类问题来说，通常情况下我们得到的是样本属于每一类的概率，是关于类别的概率分布，而样本的真值label也可以看成是只有一个1（其他全为0）的分布，故损失函数可以用相对熵表示
  $$\begin{split} D_{KL}(p\mid\mid q) & = \sum_x p(x)\log\frac{p(x)}{q(x)} \\ & = \sum_x p(x)\log p(x) - \sum_x p(x) \log q(x) \\ & = H(p,q) - H(p) \end{split}$$
  由于$H(p)$为真实分布的熵为定值，故，训练的时候只需要最小化$H(p, q)$交叉熵即可