深度学习之从感知机进化到神经网络

deep-learning

前言

阅读这篇文章之前，你最好对感知机的理论有一定了解。这篇文章会从一个典型的两层神经网络着手，讲述神经网络的基础知识，以及神经网络的前向传播过程。

神经元和感知机

一般情况下，神经元与感知机是一样的，区别在于：神经元的激活函数可以是多样的，而感知机的激活函数一般是指阶跃函数（sigmoid函数）。

如下图是一个典型的神经元模型：

神经网络是什么？

学过高中生物知识的同学应该都知道，在我们大脑中，无数个神经元互相连接起来从而形成我们的神经系统。对比而言，神经网络就是按照一定规则连接起来的多个神经元。

上图展示了一个全连接的神经网络，我们以该图为例讲解神经网络的基本概念。

1. 神经网络中，神经元按照层来布局。
2. 最左边的层叫做输入层，负责接收输入数据；输入层只有1层
3. 最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输出层只有1层
4. 输入层和输出层之间的层叫做隐藏层，因为它们对于外部来说是不可见的。隐藏层可以有多层。
5. 同一层的神经元之间没有连接。第N-1层神经元的输出就是第N层神经元的输入。
6. 每个连接都有一个权值。

最后一点：一个神经网络的层数 = 隐层层数 + 输出层层数，如上图就是一个两层神经网络。

神经网络的正向传播过程

神经网络的正向传播过程实际上是数据通过输入计算每一层节点的值，最终算出输出层的值。在这个过程中，我们需要一步步算出每一层的输出值，最终才能得到输出层的值。

我们以上图为例讲解神经网络的正向传播过程。

首先我们先介绍一下上图：该图是一个两层的全连接网络，我们将该网络中的所有节点都编号，以便说明。在该图中，有几点要说明一下：

• $x_1, x_2, x_3$ 是输入层的的值
• $w_{41}, w_{42}, w_{43}$ 是输入层到第一层隐层的权重。
• $a_4, a_5, a_6, a_7$ 是隐层的输出值
• $w_{84}, w_{85}, w_{86}, w_{87}$ 是隐层到输出层的权重
• $y_1, y_2$ 是输出层的输出。

1. 正向传播中计算隐层的输出值

首先 $x_1, x_2, x_3$ 是已知的，我们先看看如何计算节点4的输出值 $a_4$ ， 在这里我们将隐层的激活函数设置为$f(z)$ (不设置具体的激活函数，我认为更清晰)。

我们从上图可以看到，节点4的输出值$a_4$ 与输入值$x_1, x_2, x_3$, 输入层到隐层的权重$w_{41}，w_{42}, w_{43}$ ，以及隐层的激活函数有关。

因此我们可得节点4的输出值为：

$$a_4 = f(w_{41}x_1+w_{42}x_2+w_{43}x_3+w_{4b}) = f(\vec{w}^T\centerdot\vec{x})$$
其中，$w_{4b}$ 是偏置项。

同理，你可以得到相应的$a_5, a_6, a_7$ 的值。这样我们就就算出来所有的隐层输出值了。

2. 正向传播中计算输出层的值

输出层有两个输出，这里我仅仅以 $y_1$ 为例，这里假设输出层的激活函数为$g(x)$.

$y_1$ 的值与隐层输出值$a_4, a_5, a_6, a_7$ ， 隐层到输出层的权重$w_{84}, w_{85}, w_{86}, w_{87}$ 以及激活函数有关，其实与计算隐层输出值时是一样的。

$$y_1 = g(w_{84}a_4+w_{85}a_5+w_{86}a_6+w_{87}a_7+w_{8b})$$
同理，你可以得到 $y_2$ 的值。

这就是正向传播的整个过程，相信不是很难理解吧，如果这都理解不了，那说明数学真的太差了。

用矩阵表示整个正向传播过程

在实际开发中，不可能是单独计算每一个节点的值，而是通过矩阵运算成批量的计算出某一层的节点值，因此，从矩阵角度理解整个流程还是很有必要的。从这一点也可以看出《线性代数》在深度学习中的重要性。

1. 用矩阵表示某一层的节点计算

首先，从上一节中我们知道隐层输出值的计算：

$$a_4=g(w_{41}x_1+w_{42}x_2+w_{43}x_3+w_{4b}) \\\ a_5=g(w_{51}x_1+w_{52}x_2+w_{53}x_3+w_{5b}) \\\ a_6=g(w_{61}x_1+w_{62}x_2+w_{63}x_3+w_{6b}) \\\ a_7=g(w_{71}x_1+w_{72}x_2+w_{73}x_3+w_{7b})$$

然后，我们定义输入向量 $\vec{x}$ 和隐层节点 $j$ 的权重向量为 $\vec{w_j}$ ，则有：

$$\vec{x} = \begin{bmatrix} x_1 \\\ x_2 \\\ x_3 \\\ 1 \end{bmatrix}$$

$$\vec{w_4 }=[w_{41},w_{42},w_{43},w_{4b}] \\\ \vec{w_5 }=[w_{51},w_{52},w_{53},w_{5b}] \\\ \vec{w_6} =[w_{61},w_{62},w_{63},w_{6b}] \\\ \vec{w_7} =[w_{71},w_{72},w_{73},w_{7b}]$$

那么可得：

$$a_4=g(\vec{w_4}\centerdot\vec{x}) \\\ a_5=g(\vec{w_5}\centerdot\vec{x}) \\\ a_6=g(\vec{w_6}\centerdot\vec{x}) \\\ a_7=g(\vec{w_7}\centerdot\vec{x})$$

上面都是向量表示，这时，我们将$a_4, a_5, a_6, a_7$ 放到一个矩阵中，如下：

$$\vec{a}= \begin{bmatrix} a_4 \\\ a_5 \\\ a_6 \\\ a_7 \end{bmatrix}$$

$$W= \begin{bmatrix} \vec{w_4} \\\ \vec{w_5} \\\ \vec{w_6} \\\ \vec{w_7} \end{bmatrix} = \begin{bmatrix} w_{41},w_{42},w_{43},w_{4b} \\\ w_{51},w_{52},w_{53},w_{5b} \\\ w_{61},w_{62},w_{63},w_{6b} \\\ w_{71},w_{72},w_{73},w_{7b} \end{bmatrix}$$

$$\vec{x} = \begin{bmatrix} x_1 \\\ x_2 \\\ x_3 \\\ 1 \end{bmatrix}$$

$$g( \begin{bmatrix} x_1 \\\ x_2 \\\ x_3 \\\ .\\\ .\\\ .\\\ \end{bmatrix})= \begin{bmatrix} g(x_1) \\\ g(x_2) \\\ g(x_3) \\\ .\\\ .\\\ .\\\ \end{bmatrix}$$

代入，那么最终可得隐层的输出向量为：

$$\vec{a}=g(W\centerdot\vec{x})\qquad$$

2. 抽象理解矩阵表示

上图是一个四层的全连接神经网络，其中

• $\vec{x}​$ 是输入层的输入
• $W_1, W_2, W_3, W_4$ 分别为各个层与层之间的权重矩阵
• $\vec{a_1}, \vec{a_2}, \vec{a_3}$ 为各个隐层的输出向量

那么我们可以得到最终的结论：

$$\begin{align} &\vec{a}_1=f(W_1\centerdot\vec{x})\\ &\vec{a}_2=f(W_2\centerdot\vec{a}_1)\\ &\vec{a}_3=f(W_3\centerdot\vec{a}_2)\\ &\vec{y}=f(W_4\centerdot\vec{a}_3)\\ \end{align}$$

这就是在神经网络中的前向传播的准确表示，在后面的学习中，你会一直遇到这个公式。

总结

这一篇文章算是对神经网络做了一个大致的了解，理解这篇文章的内容是极为重要的，从难度上来讲，相对RNN，CNN的数学推导，这篇文章算是很简单的了，所以，数学还是很重要的啊。