神经网络为什么要Deep

deep-learning

参考

李宏毅视频

神经网络能够拟合任意连续函数吗？

业界有一个公认的结论：

给定一个含有1个隐层的神经网络和一个非线性激活函数，该浅层神经网络可以拟合任何连续函数。

一个简单的解释为：分段线性函数可以拟合任意连续函数（数学结论，可通过连续函数的定义证明）。而从直觉上看，神经网络比分段线性函数要复杂的多，因此其足以拟合任意连续函数。而深度学习中目前最常用的Relu函数，其实就是一个分段线性函数。

利普希茨连续

利普希茨条件： 若存在常数L， 使得对定义域D的任意两个不同实数 $x_1, x_2$ 均有： $|f(x_1) - f(x_2) | <= L |x_1 - x_2|$ 成立，则称 f(x) 在D上满足利普希茨 ( Lipschitz ) 条件，L称为利普希茨常数。
连续： 若存在常数 $\epsilon$ ， 使得对于定义域D的任意实数 $x_0$ ，有： $|f(x_0 + \Delta x) - f(x_0)| < \epsilon$ 成立，则称 f(x) 在D上是连续的。
从上面可以看出，利普希茨连续比普通的连续更加光滑，也就是说：利普希茨连续函数一定连续， 而连续函数却不一定满足利普希茨条件。

小节

结论： 对于一个满足利普希茨条件的函数，我们需要 $2 \frac{L}{\epsilon}$ relu 神经单元组成的神经网络来拟合这个函数。

Why Deep