讨论要点

未分类

1. 软件讨论点：误差

• 怎么突出误差（外部 CPU）学习、在线学习方式？

根据不同的压缩要求（速度、便捷性）和压缩条件（是否有数据和标签），可以选用三种压缩量化模式。

关键词：误差容忍训练/学习
1. 直接压缩：通用量化优化器，不针对具体模型，以每个算子的每个量化精度为单位，训练通用的参数模型，以建模硬件误差的统计特性。
2. 无监督学习：无监督量化蒸馏方法，将原本的全精度教师模型的知识迁移到压缩的低精度模型。在此过程中，低精度模型前向引入误差模型器（前向和梯度），通过最小化误差作用下的输出差异，来达到误差容忍的无监督蒸馏。
3. 监督的强化学习：硬件感知的自动灵活量化，将硬件输出和运行指标直接反馈给智能代理，从而引入硬件误差，在迭代优化过程中，实现误差容忍。

关键词：在线学习
指南中并没有要求

关键词：片上自学习
第三点直接引入智能芯片，勉强考上边。

2. 硬件讨论点

• 需要哪些类型的算子，分别在数据域和模拟域

  1. 第一优先级
     concat
     convolutional
     convolutiondepthwise
     deconvolution
     dense
     eltwise
     flatten
     pooling
     prelu
     relu
     reshape
     sigmoid
     softmax

  2. 第二优先级
     batchnorm
     dropout
     lstm
     rnn

  3. 第三优先级
     absval
     argmax
     binaryop
     slice
     scale
     bias

数字域和模拟域：尽可能全满足。

3. 模型资源占用

• 多大区域放图片，多大方参数？（绝对数值）

这个根据具体任务和具体模型而定，比如图像识别模型通常是 224x224，人脸识别模型通常是 112x112 或 96x112，物体 检测模型可以是任意分辨率，也可以约束为 VGA 即 640x480 等。如果实在需要提前设定，可以设定几个目标模型。

• Feature 和 Weight 的比例？

这个也和具体模型有关，比如使用特殊卷积 dwconv 和 conv1x1 的模型，特征权重比通常会比使用常规 conv3x3 和 conv5x5 高。如果实现较好的内存重利用，如 inplace 计算，特征权重比相应影响降低。