深度学习：softmax

deep-learning

---

参考： http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

softmax 函数

$$S_j = \frac{e^{a_j}}{\sum_{k=1}^T e^{a_k}}$$

Softmax loss

$$L = - \sum_{j=1}^T y_j \, log \, s_j \\ $$