小样本论文笔记4：Metric Based - [6] Learning to compare: Relation network for few-shot learning.

学习笔记

0. 前言

• 相关资料：
  
  • 论文地址
  • github
  • 笔记参考
• 论文基本信息
  
  • 领域：小样本学习
  • 作者单位：多伦多大学&Twitter
  • 发表期刊和时间：CVPR2018
• 一句话总结
  
  • 提出了Relation Network结构，在少样本和零样本学习任务上达到了2018年的State-of-the-art效果。创新点在于用神经网络进行度量策略的学习。

1. 要解决什么问题

• 从观察人类对新事物反应的角度出发--人在识别新东西时，总是先提取特征，然后与头脑中的经验进行比较，作者认为这是少样本学习能力的关键原因。因此，作者研究如何通过元学习的方式让神经网络学会比较这个元知识能力。

2. 用了什么方法

• 
• 模型结构
  
  • 以上时作者提出的结构，完全模拟了人识别物体的过程。如图，是一个典型的5-way 1-shot的少样本学习问题，即对5个新类别的物体进行识别，单每一个物体只给一个样本？？？。图中最左侧5张图片时拥有的训练样本（支撑集），旁边一个样本是测试样本。构造一个嵌入单元（embedding module）来提取每一张图片的特征信息，特征内容不予关注，之后将测试图片特征和训练样本特征连起来输入到关系单元（relation module）进行比较。然后根据比较结果（relation score）判断测试图片是哪一个类。将图中嵌入单元和关系单元合起来统称为关系网络（relation network）.
• 训练
  
  • 在大型训练集上构造出和测试时类似的数据结构，即sample set 和query set（类似Macthing Network中提出的Episode）来仿真测试时的支撑集和测试集。使用训练集来生成巨量的模拟任务。从而在meta层面上训练整个关系网络。损失函数是MSE。输出的relatioN score是从0到1的数值，0为不相似，1为完全相似。
• 零样本学习任务拓展
  
  • 将训练集改成对应类别的语义嵌入向量即可。

3. 效果如何

• 少样本学习

  • Omniglot 数据集上结果：表中与前两篇论文笔记中的Matching Net和Prototypical Net作了比较。
  • 
  • miniImagenet数据集上结果，与Prototypical Net结果相当。
  • 

• 零样本学习

  • 传统设置下，在AwA和CUB数据集上结果，超过Prototypical Net 很多。
  • 
  • GBU设置下，在AwA和CUB上结果
  • 

4. 还存在什么问题&有什么可以借鉴

• 文章创新点在于完全使用神经网络来学习度量方式，并且使用元学习的训练方式。