工作日记 19/11/26

work vivo daily

0. TODO

1. Keras用skopt超参搜索
2. Attention模型初步训练
3. 模型指标总结

1. Keras + skopt

skopt keras 超参数调优示例

注意事项：

• 训练方法不要写在类里面，会导致调用报错，如何解决未知

• Keras Model调用fit后会返回一个history，里面包含着训练的信息，包括训练参数和评价指标，history键值不支持索引，要用属性的方式访问：

  {    # History实例，下面实例以history表示实例
       'validation_data': '',
       'model': '<keras.engine.training.Model object at 0x2ac2f7f28c18 >',
       'params': {
           'batch_size': 8000,
           'epochs': 1,
           'steps': None,
           'samples': 40000,
           'verbose': 1,
           'do_validation': True,
           'metrics': ['loss', 'acc', 'val_loss', 'val_acc']
       },
       'epoch': [0],
       'history': {
           'val_loss': [7.046267509460449],
           'val_acc': [0.49799999594688416],
           'loss': [6.490575981140137],
           'acc': [0.5013250052928925]
       }
   }
  metrics = history['history']   # × ['history']不能键值索引
  metrics = history.history      # √
  val_acc = metrics['val_acc']   # √

• 需要有一个全局的global_acc，在搜索过程中判断如何保留下最好的模型
• 注意OOM问题，搜索范围和batch_size都需要关注

2. Attention

2.1 三分类

• 模型：
  
  • /home/vivoadmin/work/project/training/trigger_word/models/attention-3-class
    
    • saved-model-4000-0.9373.h5
• 参数：102,443
• 数据：
  
  • Train: 80000 (Jovi: 20000, Xiaov: 20000, Noise: 40000)
  • Dev: 10384 (Jovi: 2000, Xiaov: 2000, Noise: 6384)
• 指标Acc：
  
  • 训练集：88.3%
  • 测试集：93.7%

3. 模型指标汇总

3.1 二分类

1. 模型：

   • /home/vivoadmin/work/project/training/trigger_word/models/cnn-gru-2-class
     
     • saved-model-100-0.9927.h5.xiaov-Vs-noise
     • saved-model-100-0.9957.h5.jovi-Vs-noise
   • 数据：
     /home/vivoadmin/work/data/debug_2w_1119
   • Train: 50000 (Jovi: 20000, Xiaov: 20000, Noise: 10000)
   • Dev: 5000 (Jovi: 2000, Xiaov: 2000, Noise: 1000)

2. 指标：

   -	hi, jovi vs 小v	hi, jovi vs 噪声	小v vs 噪声
   GRU	84%, 86%	-	-
   CNN-GRU	93%, 91%	99%, 99%	99%+, 99%+

3. 分析：
   
   • 三分类：
     
     • 单纯GRU网络可以处理唤醒词序列的分类问题，但精度不算太高
     • CNN在输入层中起到了特征抽取的作用，减少了GRU的记忆负担，精度得以提升
   • 二分类：
     
     • 二分类中得到比较好的表现，原因分析可能是唤醒词数据的比较理想，基本没有背景噪音
     • 模型比较好"认出了"唤醒词的时频序列

3.1 三分类

1. 模型：

   • /home/vivoadmin/work/project/training/trigger_word/models/cnn-gru-3-class
     
     • saved-model-2000-0.9056.h5.2w2w1w
     • saved-model-2000-0.9388.h5.2w2w4w
   • /home/vivoadmin/work/project/training/trigger_word/models/attention-3-class
     
     • saved-model-4000-0.9373.h5

2. 数据：

   • 数据1：
     
     • Train: 50000 (Jovi: 20000, Xiaov: 20000, Noise: 10000)
     • Dev: 5000 (Jovi: 2000, Xiaov: 2000, Noise: 1000)
   • 数据2（增多噪声数据）：
     
     • Train: 80000 (Jovi: 20000, Xiaov: 20000, Noise: 40000)
     • Dev: 10384 (Jovi: 2000, Xiaov: 2000, Noise: 6384)

3. 指标

   -	数据1(小)	数据2(大)
   CNN-GRU	90.6%, 90.5%	91.0%, 93.8%
   CNN-GRU-Attention	-	89.2%, 93.7%

4. 分析：
   
   • 数据量的影响：
     
     • 训练样本量增大，泛化效果变好
   • Attention：
     
     • 当前Attention嵌入属于前期的测试阶段
     • 得出当前指标的Attention模型未经过调优，网络结构的参数较少
     • 在训练过程中发现，前几个epoch，Attention可以学习得更快，我认为Attention模型值得继续调参尝试