深度学习：超参数搜索

deep-learning

超参数搜索的一般过程

• 在训练集上根据模型性能指标对模型参数进行优化
• 在验证集上根据模型性能指标对模型的超参数进行搜索
• 步骤1,2交替进行， 最终确定模型的参数和超参数，然后在测试集上验证评价模型的优劣

搜索之前的几大要素

• 目标函数的定义
• 确定各个超参数的搜索范围
• 确定各个参数的搜索步长

1. 网格搜索

• 思想：通过查找搜索范围内的所有的点来确定最优值，如果采用较大的搜索范围以及较小的步长，网格搜索有很大概率找到全局最优值。
• 缺点： 十分消耗计算资源和时间，特别是超参数比较多的情况下。
• 使用： 先采用较广的搜索范围和较大的步长来寻找全局最优值可能的位置，然后逐渐缩小搜索范围和步长，来寻找更精确的最优值。 此法可能会错过全局最优值。

2. 随机搜索

• 思想： 在搜索范围内随机选取样本点。
• 理论依据： 如果样本点集足够大，那么通过随机采样也能大概率找到全局最优值或其近似值
• 优点： 比较快，但结果不定