Comparing Deep Learning Activation Functions Across NLP tasks

激活函数

---

激活函数相关文章

• RELU: Deep Sparse Rectifier Neural Networks

Abstract

本文进行了一次大规模的比较，涉及到218个NLP任务。

1. Introduction

2. Theory

激活函数： sigmoid, swish, maxsig, cosid , arctid, maxtanh, tanh， sin， relu， lrelu-0.01, lrelu-0.30, maxout-2, maxout-3, maxout-4, prelu, linear, elu, cube, penalized tanh, selu.

3. Experiments

3.1 MLP & Sentence Classification

我们采用的MLP 为：

$$x_i = f(x_{i-1} \cdot W_i + b_i) \\ y = softmax(x_NW_{N+1} + b_{N+1}$$

其中， $x_0$ 为输入表示， $x_1, \cdots, x_N$ 为隐层的表示， $y$ 是输出。

3.2 CNN & Document Classification

$$feature \qquad c_i = f(w \cdot w_{i:i+h-1} +b )$$

3.3 RNN & Sequence Tagging

• RNN
  $$h_i = f(h_{i-1}W + w_i \cdot U + b) \\ y_i = softmax(h_iV + c)$$

• LSTM

4. Analysis & Discussion