数值计算

deep-learning

---

上溢与下溢

• 当接近零的数被四舍五入为零时发生下溢。
• 当大量级的数被近似为 ∞ 或 −∞ 时发生上溢。

$$softmax(x)_i = \frac{exp(x_i)}{\sum_{i=1}^{n} exp(x_j)}$$
解决上溢与下溢的一个有效方法是softmax函数， 但是考虑到当分母 $x_j$ 都很小的话，会导致softmax的分母变为0； 当 $x_j$是非常大的正数时，$exp(x_j)$ 则又会导致上溢。

为了解决分母上溢下溢问题， 我们采用 $softmax(z)$ 来解决， 其中 $z = x - max_i x_i$,那么 $exp(x_i)$ 必然有一个为1， 这就免除了上溢和下溢的可能性。

但有时，分子产生下溢仍会导致表达式结果为0， 此时我们计算 $log \,\, softmax(x)$ 时， 先计算 softmax， 再把结果传给log函数， 会错误得到 −∞, 因此我们需要实现一个函数来变换这个结果以稳定 log softmaxmax

病态条件