深度学习

深度学习 研究生学习

cost ： 二次cost函数/ 交叉熵函数

overfitting ： 过拟合
解决办法 ： regulization 正则化 在cost增加了权重之和
L1 正则化
L2 正则化
dropout层 随机删除一些隐藏层中的神经元
增加数据集 （人工产生/ 图像生成器）

hyper-parameters:
learning rate 学习率 eta
regulization parameters 正则化 lamda

神经网络的难点 不同的层学习率有明显不同 vanishing gradient 问题

解决方案 激活函数 : ReLU函数 rectified linear function unit ≈ max(x,y)

卷积神经网络
输入是一个二维矩阵 保留了图片空间的结构
原始神经网络把二维矩阵拆成了一维的情况.
共享参数 ---> 降低了参数的个数

卷积层 池化层pooling(缩小图像 绝对位置不重要 寻找相对位置) 全连接层

输入层 --> 利用例如几个不同的3*3的windows生成一些feature maps

深度学习开源框架
Theano、TensorFlow、Torch、Caffe、MXNet、Neon 和 CNTK

深度学习开源库
Keras是一种能够在TensorFlow、CNTK、Theano或MXNet（或者在TensorFlow中运行tf.contrib）上运行的高级API Google支持
PyTorch是一款专注于直接使用数组表达式的低级API Facebook支持