[关闭]
@helen- 2019-11-08T08:47:51.000000Z 字数 602 阅读 594

深度学习

深度学习 研究生学习


cost : 二次cost函数/ 交叉熵函数

overfitting : 过拟合
解决办法 : regulization 正则化 在cost增加了权重之和
L1 正则化
L2 正则化
dropout层 随机删除一些隐藏层中的神经元
增加数据集 (人工产生/ 图像生成器)

hyper-parameters:
learning rate 学习率 eta
regulization parameters 正则化 lamda

神经网络的难点 不同的层学习率有明显不同 vanishing gradient 问题

解决方案 激活函数 : ReLU函数 rectified linear function unit ≈ max(x,y)

卷积神经网络
输入是一个二维矩阵 保留了图片空间的结构
原始神经网络把二维矩阵拆成了一维的情况.
共享参数 ---> 降低了参数的个数

卷积层 池化层pooling(缩小图像 绝对位置不重要 寻找相对位置) 全连接层

输入层 --> 利用例如几个不同的3*3的windows生成一些feature maps

深度学习开源框架
Theano、TensorFlow、Torch、Caffe、MXNet、Neon 和 CNTK

深度学习开源库
Keras是一种能够在TensorFlow、CNTK、Theano或MXNet(或者在TensorFlow中运行tf.contrib)上运行的高级API Google支持
PyTorch是一款专注于直接使用数组表达式的低级API Facebook支持

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注