模型压缩调研

快速调研

0. 前言

• 参考
  
  • 一文看懂深度学习模型压缩和加速
  • 模型压缩总览
• 由于模型训练期间参数较多，模型较大，不易部署到移动端，故调研模型加速和压缩相关内容如下。

1. 方法对比

更加详细的信息请看下面的介绍。

2. 模型压缩和加速方法

• 模型压缩目标：以最大限度减小模型对于计算空间和时间的消耗。
• 综述参考1：2017-A Survey of Model Compression and Acceleration for Deep Neural Networks
• 综述参考1：2018-Recent Advances in Efficient Computation of Deep Convolutional Neural Networks

2.1 算法层加速

2.1.1 低秩近似（矩阵、张量分解）

• 思路：将原网络权值矩阵当作满秩矩阵，然后用低秩矩阵逼近原满秩矩阵，2018年以前比较火
• 参考
  
  • 2014-Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition加速8倍且无明显的精度损失，经验证在VGG16上加速2倍无精度损失
  • 2017-High performance ultra-low-precision convolutions on mobile devices
  • 如何用张量分解加速深层神经网络？（附代码）
  • 2014-Speeding up Convolutional Neural Networks with Low Rank Expansions : 该方法在场景文字识别中实验在无精度损失的情况下达到原来的2.5倍速，而达到4.5倍速的同时仅损失1%的accuracy。

2.1.2 剪枝

• 思路：将权重矩阵中相对“不重要”的权值剔除，然后再重新fine tune 网络进行微调。
• 参考：
  
  • 2015-Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
  • NNI (Neural Network Intelligence)微软开源工具包，支持9种模型压缩算法，支持 PyTorch、TensorFlow、scikit-learn、LightGBM 等主流框架和库
  • 1989-杨丽坤-Optimal brain damage
  • 1993-NIPS-Second Order Derivatives for Network Pruning: Optimal Brain Surgeon

2.1.3 量化

• 思路：用低精度数值表示元32bit浮点型数值，牺牲精度降低占用空间.
• 参考：
  
  • 2016-XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

2.1.4 知识蒸馏

• 思路：|是一种迁移学习，将大模型的知识最大程度的教授给小模型，以达到压缩模型的目的。
• 参考：
  
  • TinyBERT: Distilling BERT for Natural Language Understanding
  • 2015ICLR(Bengio)-FITNETS: HINTS FOR THIN DEEP NETS

2.1.5 轻量网络

• 思路：构建小而紧凑的网络，实现模型压缩如MobileNets、ShuffleNets、Inception、SqueezeNet
• 参考：
  
  • SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

2.2 框架层加速

2.2.1 TensorRT

• 简介：TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10X至100X的加速。硬件平台为PX2。
• 官方文档

2.2.2 Auto TVM

• 是华盛顿大学开源的TVM，用于自动对各种后端设备生成性能可观的代码。Auto TVM自动执行代码优化，让TVM生成的代码运行更快。
• TVM官网

2.2.3 Tensor Comprehension

• 直接将高级语言生成GPU代码，可集成到Pytorch和Caffe2
• Tensor Comprehensions in PyTorch手册

2.2.4 Distiller

• 是 Intel 开源的一个用于神经网络压缩的 Python 包，可减少深度神经网络的内存占用、提高推断速度并节省能耗。Distiller 为 PyTorch 环境提供原型和分析压缩算法，例如稀疏方法和低精度运算。
• Github

2.3 移动端AI框架

2.3.1 TF-lite

• Google轻量级推理库。主要用于移动端。
• Github

2.3.2 MNN

• 阿里高效、轻量的深度学习框架,它支持端侧深度模型推理与训练。支持Tensorflow(Lite)、Caffe和ONNX的模型转换。
• Github
• 支持的算子列表

2.3.3 NCNN

• 腾讯为手机端极致优化的高性能神经网络前向计算框架，可导入caffe/pytorch/mxnet/onnx/darknet/keras/tensorflow(mlir) 模型，支持大部分常用CNN网络。
• Github
• 支持的网络

2.3.4 MACE

• 是小米专为移动端异构计算设备优化的深度学习前向预测框架。覆盖了常见的移动端计算设备（CPU、GPU、Hexagon DSP、Hexagon HTA、MTK APU），支持TensorFlow\Caffe\ONNX，运行设备支持GPU\CPU\DSP
• Github
• 支持的算子列表

2.3.5 PaddleLite

• 百度高性能、轻量级、灵活性强且易于扩展的深度学习推理框架，定位支持包括移动端、嵌入式以及服务器端在内的多硬件平台.支持操作熔合，计算剪枝，存储优化，量化计算等多类计算图优化。更多的优化策略可以简单通过 新增 Pass 的方式模块化支持。
• Github
• 支持算子列表

2.3.6 ONNX Runtime

• 用于推理和训练加速的交叉平台，支持Pytorch\TensorFlow\Keras,scikit-learn，是将 ONNX 模型部署到生产环境的跨平台高性能运行引擎；适用于 Linux、Windows 和 Mac。编写C++，它还具有 C、Python 和C# api。 ONNX 运行时为所有 ONNX 规范提供支持，并与不同硬件（如 TensorRT 上的 NVidia Gpu）上的加速器集成。
• Github
• 支持的算子列表

2.4 硬件芯片层

• GPU、FPGA、ASIC（TPU\NPU）
• 需要定制芯片，根据与肇观公司接触来看，开发需要配备底层硬件工程师，算法人员开发过程过于艰难