常见激活函数

deep-learning

---

https://www.jiqizhixin.com/articles/2017-10-10-3

综述paper： 《Activation Functions: Comparison of Trends in Practice and Research for Deep Learning》

sigmoid 及其三个变体

sigmoid 函数大多数情况下用于前馈神经网络中。 当出现在输出层时，主要用于二分类问题， sigmoid易于理解，常常出现在浅层神经网络中。在使用sigmoid时， 权重初始化需要避免使用小的随机权重值。

• 梯度消失，梯度爆炸
• 降低收敛速度
• non-zero centred output

1. sigmoid

$$f(x) = \frac{1}{1 + e^{-x}} \\ f'(x) = f(x)(1-f(x)) = \frac{e^{-x}}{(1 + e^{-x})^2}$$$

2. hard-sigmoid

hard-sigmoid 与 sigmoid 相比计算成本下降很多，使得收敛速度加快。作者强调hard-sigmoid在二分类问题上获得了很好的表现。

$$f(x) = max(0, min(1, \frac{x+1}{2}) = \begin{cases} 0, & \text {if $x <= -1$} \\ \frac{x+1}{2}, & \text {if $-1 < x < 1 $} \\ 1, & \text {if $x >= 1 $} \end{cases} \\ f'(x) = \begin{cases} \frac{1}{2}, & \text {if $-1 < x < 1 $} \\ 0 & \text {other} \end{cases}$$

3. SiLU: Sigmoid-Weighted Linear Units

pass

4. dSiLU: Derivative of Sigmoid-Weighted Linear Units

pass

tanh 及其变体

tanh函数也不能很好地解决sigmoid函数所遇到的梯度消失问题。该函数的主要优点是它产生零中心输出，从而帮助反向传播过程。

1. tanh

$$f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \\ f'(x) = 1 - (tanh(x))^2 = 1 - f(x)^2$$

tanh 函数只有在 x=0 ，导数才为1， 这使得tanh函数在计算过程中会产生一些 dead neurons

2. Hard Hyperbolic Function

相比tanh来说计算效率更高.

$$f(x) = \begin{pmatrix} -1 & \quad if \,\, x < -1 \\ x & \quad if \,\, -1 <= x <= 1 \\ 1 & \quad if \,\, x > 1 \\ \end{pmatrix} \\ f'(x) = \begin{pmatrix} 0 & \quad if \,\, x < -1 \\ 1 & \quad if \,\, -1 <= x <= 1 \\ 0 & \quad if \,\, x > 1 \\ \end{pmatrix} \\ $$

Relu及其变体

与 sigmoid 和 tanh 相比提供了更高的performance和泛化能力。 ReLU是一个近似线性的函数，因此保留了线性模型的特性，这使得其易于使用梯度下降法进行优化。

Relu 大大减少了训练中发生梯度消失的情况。

Relu的一大优点就是快，因为其求导没有那么复杂。 Relu的另一个特性是由于其在 x<0 时均未0， 因此其引入了稀疏性。

Relu 相比较于Sigmoid来说更容易过拟合， 采用dropout可以极大的减轻过拟合。

Relu的一大问题： Dead RELU， 为了减轻这一问题， Leaky Relu 提出。

1. Relu

$$f(x) = max(0,x) = \begin{cases} x, & \text {if $x > 0 $ } \\ 0, & \text{if $x <= 0$ } \end{cases} \\ f'(x) = \begin{cases} 1, & \text {if $x > 0 $ } \\ 0, & \text{if $x <= 0$ } \end{cases}$$

2. Leaky Relu

主要是为了解决 Dead Relu 问题。 a 常常是一个很小的值如： 0.01

$$f(x) = \begin{cases} x, & \text {if $x > 0 $ } \\ ax , & \text{if $x <= 0$ } \end{cases}$$

3. PReLU（参数化修正线性单元）

其中 $a_i$ 是可学习的参数。

$$f(x_i) = \begin{cases} x_i, & \text {if $x_i > 0 $ } \\ a_ix_i, & \text{if $x_i <= 0$ } \end{cases}$$

4. PReLU

$$f(x_i) = \begin{cases} x_i, & \text {if $x_i > 0 $ } \\ a_ix_i, & \text{if $x_i <= 0$ } \end{cases}$$

5. SReLU

softplus

softplus 是Relu的光滑版本，具有平滑和非零梯度特性，从而增强了深层神经网络的稳定性和性能。

$$f(x) = log(1 + e^x)$$

ELU 及其变体

1. ELU

$$PReLU(x_i) = \begin{cases} x_i, & \text {if $x_i > 0 $ } \\ a(e^{x_i} - 1 ), & \text{if $x_i <= 0$ } \end{cases}$$

2. PELU

3. SELU

$$seLU(x_i) = \begin{cases} x_i, & \text {if $x_i > 0 $ } \\ a_i(e^{x_i} - 1), & \text{if $x_i <= 0$ } \end{cases}$$

Maxout Function

softmax

softmax 常用于多分类模型， 常用于模型的输出层中。sigmoid 与 softmax 不同之处在于 sigmoid 用于二分类问题中，而 softmax 用于多分类问题。

$$f(x_i) = \frac{e^{x_i}}{\sum_{j}^n e^{x_j}}$$

softsign

常用于回归问题中。 与tanh 的以指数方式收敛不同， softsign 以多项式方式收敛

$$f(x) = \frac{x}{1 + |x|} \\ f(x) = \frac{1}{(1+|x|)^2}$$

linear

$$f(x) = x$$