@helen-
2019-11-08T08:47:51.000000Z
字数 602
阅读 594
深度学习
研究生学习
cost : 二次cost函数/ 交叉熵函数
overfitting : 过拟合
解决办法 : regulization 正则化 在cost增加了权重之和
L1 正则化
L2 正则化
dropout层 随机删除一些隐藏层中的神经元
增加数据集 (人工产生/ 图像生成器)
hyper-parameters:
learning rate 学习率 eta
regulization parameters 正则化 lamda
神经网络的难点 不同的层学习率有明显不同 vanishing gradient 问题
解决方案 激活函数 : ReLU函数 rectified linear function unit ≈ max(x,y)
卷积神经网络
输入是一个二维矩阵 保留了图片空间的结构
原始神经网络把二维矩阵拆成了一维的情况.
共享参数 ---> 降低了参数的个数
卷积层 池化层pooling(缩小图像 绝对位置不重要 寻找相对位置) 全连接层
输入层 --> 利用例如几个不同的3*3的windows生成一些feature maps
深度学习开源框架
Theano、TensorFlow、Torch、Caffe、MXNet、Neon 和 CNTK
深度学习开源库
Keras是一种能够在TensorFlow、CNTK、Theano或MXNet(或者在TensorFlow中运行tf.contrib)上运行的高级API Google支持
PyTorch是一款专注于直接使用数组表达式的低级API Facebook支持