深度学习： 超参数调优

deep-learning

超参数调优方法

超参数搜索的一般过程

1. 在训练集上根据模型性能指标对模型参数进行优化
2. 在验证集上根据模型性能指标对模型的超参数进行搜索
3. 步骤1,2交替进行， 最终确定模型的参数和超参数，然后在测试集上验证评价模型的优劣

超参数搜索一般包含三个要素：

• 目标函数
• 搜索范围： 上限和下限
• 其他参数： 搜索步长

1. 网格搜索

• 思想：通过查找搜索范围呃逆的所有的点来确定最优值，如果采用较大的搜索范围以及较小的步长，网格搜索有很大概率找到全局最优值。
• 缺点： 十分消耗计算资源和时间，特别是超参数比较多的情况下。
• 使用： 先采用较广的搜索范围和较大的步长来寻找全局最优值可能的位置，然后逐渐缩小搜索范围和步长，来寻找更精确的最优值。 此法可能会错过全局最优值。

2. 随机搜索

• 思想： 在搜索范围内随机选取样本点。
• 理论依据： 如果样本点集足够大，那么通过随机采样也能大概率找到全局最优值或其近似值
• 优点： 比较快，但结果不定

3. 贝叶斯优化算法

• 思想：

简介

超参数大致可分为三类：

• 网络参数： 指的是网络层与层之间的交互方式， 卷积核数量，尺寸，网络层数，激活函数等
• 优化参数： 指的是学习率，batch_size， 不同优化器的参数，部分损失函数的可调参数
• 正则化： 权重衰减系数，dropout等

部分超参数如何影响模型性能

部分超参数合适的范围

优化参数

1. 学习率的选择

学习率直接控制着训练中网络梯度更新的量级，直接影响着模型的有效容限能力。一个合适的学习率既能加速模型的训练，又能得到一个较优甚至最优的精度， 过大或过小的学习率都会直接影响模型的收敛。

当模型训练到一定程度时，损失不再减少，此时模型的一阶导数接近于0，可能陷入局部最小值点或鞍点。若此时仍然以固定的学习率，则会使得模型陷入左右来回震荡或者鞍点，无法继续优化。所以，学习率衰减或者增大能帮助模型有效的减少震荡或逃离鞍点。因此一些学习率调整策略是由必要的。

2. 损失函数上的可调参数

损失函数上的可调参数需要结合实际的损失函数来调整，这些参数能能够直接影响到模型的有效容限能力。

2. batch_size

• batch_size：批处理样本大小。
• iteration：1个iteration就是对batch_size个样本训练一次。

Batch 的选择， 首先确定的是下降的方向。

• 如果数据集较小， 采用数据集的方式，好处有：

  • 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。
  • 由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。 Full Batch Learning 可以使用 Rprop 只基于梯度符号并且针对性单独更新各权值。

• 如果数据集很大，采用全数据集有以下坏处：

  • 随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。
  • 以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来 RMSProp 的妥协方案。

• Batch_size = 1：

  即每次训练一个样本，这使得每次修正方向不定，横冲直撞，难以收敛

• Batch 的合理增大的好处：

  • 内存利用率提高了，并行化效率提高
  • 一个epoch的迭代次数减少，对于相同数据量的处理速度进一步加快
  • 一定范围内， Batch_size越大，其下降方向越准，引起的震荡越小

• 盲目增大Batch_size 的坏处：

  • 内存容量可能不足
  • 一次epoch的迭代次数减少，要想达到相同的精读， 所花费的时间大大增加了，对参数的修正也就更慢
  • Batch_size 增大到一定程度，其下降方向基本不再变化

Batch_size 太小，模型容易震荡， Batch_size 增大，处理相同数据量的速度越快，达到相同精读所需的epoch数量越来越多。

3. epoch

1个epoch等于使用训练集中的全部样本训练一次.

4. 优化算法相关参数

4. dropout

网络参数

• 网络层数
• 单层神经元数
• 初始化权值相关参数

正则化参数