图像分类领域小样本学习调研报告

快速调研

0. 前言

• 先读几篇经典图像领域的小样本学习论文，需要形成论文阅读笔记

• 几个重要问题

  • 确认经典论文有哪些，具体分为几类，每一类的经典的引用量最高的几篇（大家都基于该论文有所改进的那种）有哪些，简言之，抓清主干，结构。
  • 常用数据集

• 参考链接

  • 小样本学习&元学习经典论文整理||持续更新: 整理了源码地址，很不错！
  • 小样本学习（Few-shot Learning）综述by 阿里小蜜
  • AAAI2021小样本学习论文汇总

1. 拟读列表

1.1 参考知乎1：小样本学习（Few-shot Learning）综述by 阿里小蜜

• 可以分为三种类型：Model Based([3])、Metric Based（[2,4-6]）、Optimization Based([7-8])

  • [2] Oriol Vinyals, Charles Blundell, Tim Lillicrap, Daan Wierstra, et al. Matching networks for one shot learning. In Advances in Neural Information Processing Systems, pages 3630–3638, 2016. 被引量：537
  • [3] Santoro A, Bartunov S, Botvinick M, et al. One-shot learning with memory-augmented neural networks[J]. arXiv preprint arXiv:1605.06065, 2016.被引量：395
  • [4] Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. "Siamese neural networks for one-shot image recognition." ICML Deep Learning Workshop. Vol. 2. 2015. 被引量：0
  • [5] Snell, Jake, Kevin Swersky, and Richard Zemel. "Prototypical networks for few-shot learning." Advances in Neural Information Processing Systems. 2017. 被引量：283
  • [6] Sung, Flood, et al. "Learning to compare: Relation network for few-shot learning." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. 被引量：105
  • [7] Ravi, Sachin, and Hugo Larochelle. "Optimization as a model for few-shot learning." (2016).被引量：0
  • [8] Chelsea Finn, Pieter Abbeel, Sergey Levine ; Proceedings of the 34th International Conference on Machine Learning, PMLR 70:1126-1135, 2017. 被引量：3136

• 其他拟读

  • metric based: CVPR2020 | DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning-
  • ICLR2021 Oral ｜利用一个样本估计类别数据分布 9行代码提高少样本学习泛化能力

2. 总结

2.1 常用数据集(2-6,9)

• ImageNet & miniImageNet +1 +1 +1+1
• Omniglot+1+1+1+1+1
• MNIST+1
• tieredImageNet+1
• FewShot-CIFAR100+1
• (Zero-shot) CUB(Caltech-UCSD Birds-200-2011)+1+1+1
• (Zero-shot) AwA +1

2.2 常用实验设置

• Omniglot【6】CVPR2018 Relation Net
  
  • 1623类（一个字符一个类），50个字符集，每个类包含20个样本（由不同的人书写）。
  • 数据增强：90，180，270°旋转得到新的类别。
  • 1200类（原图加上旋转后的图）用于训练，423类用于测试，输入图像resize到28*28
  • 训练设置：
    
    • 每个训练Episode中，K个样本图像，5分类1-shot包含19个query图像，5分类5-shot有15个query图像，20类1-shot有10个query图像，20类5-shot有5张query图像共C个样本类。
    • 例如：5-way 1-shot实验，一个trainning episode 中，有19*5+1*5=100张图像用于训练。
  • 测试
    
    • 训练和测试过程一样，只是测试episode是从测试集中随机生成的。5-way 1-shot是指测试过程中支撑集中有5类，每类有1个样本。query set的每类的测试样本数量不限。
    • Episode是指支撑集support set和query set一起送入网络进行训练这种形式，跟batch的概念很像。

• miniImageNet

  • 一共60,000张图片，100类，每类有600个图片；64类用于训练，16类用于验证，20类用于测试。5-way 1-shot有15个query图像，5-way 5-shot有10张query图像。所以在5way,1-shot实验中每个episode中有15*5+1*5=80张图像。输入图像统一尺寸为84*84.
  • 测试
    
    • 固定每个episode中15张query图像，随机生成600个episode。

• 最新结果

  • DeepEDM CVPR2020
    
    • 

  • Relation Net CVPR2018

    • 

    • 

3. 笔记

3.1 小样本论文笔记1：Metric Based - [2] Matching Networks for One Shot Learning

• 相关资料：
  
  • 知乎参考
  • 李飞飞高徒Andrej Karpathy的笔记
• 论文基本信息：
  
  • 领域：小样本学习
  • 作者单位：DeepMind
  • 发表期刊和时间：NIPS2016
  • 评价：获得Andrej Karpath点赞过，成为之后相关研究中经常被对比的参照。

3.2 小样本论文笔记2：Metric Based - [4] Siamese neural networks for one-shot image recognition.

• 相关资料：
  
  • 论文地址
  • 第三方复现github
  • 译文参考
• 论文基本信息
  
  • 领域：小样本学习
  • 作者单位：多伦多大学
  • 发表期刊和时间：ICML2015

3.3 小样本论文笔记3：Metric Based - [5] Prototypical networks for few-shot learning.

• 相关资料：
  
  • 论文地址
  • 笔记参考
• 论文基本信息
  
  • 领域：小样本学习
  • 作者单位：多伦多大学&Twitter
  • 发表期刊和时间：NIPS 2017

3.4 小样本论文笔记4：Metric Based - [6] Learning to compare: Relation network for few-shot learning.

• 相关资料：
  
  • 论文地址
  • github
  • 笔记参考
• 论文基本信息
  
  • 领域：小样本学习
  • 作者单位：多伦多大学&Twitter
  • 发表期刊和时间：CVPR2018

3.5 小样本论文笔记5：Model Based - [6] One-shot learning with memory-augmented neural networks.

• 相关资料：
  
  • 论文地址
  • github
  • 笔记参考
• 论文基本信息
  
  • 领域：小样本学习
  • 作者单位：Google DeepMind
  • 发表期刊和时间：ICML2016