深度模型压缩论文笔记

论文笔记

《Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding》

1. Pruning：删除权重0的连接，重训练。稀疏表示表示矩阵。
2. Quantization：利用 KMeans 聚类，使用少量 bit 表示权重。
3. Huffman coding：用 Huffman 编码表示权重。

节约的是存储空间。

稀疏行表示：

value =   [ ]
col_idx = [ ]
row_ptr = [ ] # `row_ptr[i]` -> 1-st non-zero element of row `i` in `value`

《Convolutional Neural Networks using Logarithmic Data Representation》

论文比较简单，使用加法和位移取代乘法。

《Model compression as constrained optimization, with application to neural nets. Part I: general framework》

有模型 $f(x; W): \cal X \to \cal Y, W \in R^P$，求压缩模型 $h(X, \theta), \theta \in R^Q$，且 $Q \lt P$。$h$ 可能是 $f$ 的量化，也可能是不同的模型：

1. 直接学习：训练 $h$ 最小化目标函数。有时候是最优方案。
2. 直接压缩：$\min_\theta \| \overline w - \Delta(\theta) \|^2$。通常不是最优方案，因为目标是压缩而非目标函数。
3. 师生压缩：$\min_\theta \int_{\cal X} p(x) \| f(x; \overline w) - h(x; \theta) \|^2 dx$。
4. 文中提出所谓 Model compression as constraint optimization，分为 L step 和 C step。

《Product quantization for nearest neighbor search》

基于prodcut量化的近似最近邻搜索。

KD-Tree等方法在高维度性能并不强于暴力搜索$O(nD)$。流行的ANN方法E2LSH在实际数据性能不如启发式方法（FLANN）。

《Optimized Product Quantization for Approximate Nearest Neighbor Search》

《FASTTEXT.ZIP: COMPRESSING TEXT CLASSIFICATION MODELS》

写得很好，文笔清楚。利用 Product 量化做模型压缩。

TODO: Learn BoW, n-gram, LSTM, RNN.
TODO：找到支持激活之后 Product Quantization 的出处。
TODO: Product Norm perform much better.