图像领域小样本学习调研：Few-shot Learning

快速调研 2月

“创新总是基于对已有成果的梳理和思考。”

0. 前言

• 本文旨在掌握小样本学习的基本流程，
• 计划根据2篇用于图片的小样本学习经典论文摸清小样本学习流程；
• 评估小样本学习是否能够用于异常行为检测任务；
• 目标是快速了解目前图像、视频任务的小样本学习算法现状

1. 综述

• 知乎讨论：小样本学习（Few-shot Learning）综述

问题定义

• 小样本学习适用于缺少大量标注数据，每类只有几个或者几十个样本的任务。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。
• 小样本学习是指模型对于给定的任务利用少量的监督信息，获得较好的鲁棒和泛化表现，英文即Few-Shot Learning
• 基于模型的方法是现在比较主流的FSL方法之一，目前主流的方法有Multi-Task Learning、Metrics Learning、Meta-Learning三种。
• 人并不是单单去做一个任务的，人最擅长的就是多个任务一起学习，并举一反三。所以多任务学习的本质就是想把多个相似的任务放在一起学习，通过某种方式将任务学到的知识共享。
• meta learning又叫learn to learn，其目的是希望学习模型的模型，传统机器学习做的是用一堆数据学习一个模型，这个模型就是输入空间到输出空间的一个映射，然而meta learning做的是用一堆模型学习一个模型，然后对于任意一个新的任务，他的输出就是一个参数。其中最火的就是 MAML，还有Reptile等等。MAML指的是模型无关的元学习。意思就是不论什么深度学习模型，都可以使用MAML来进行少样本学习，他就是个人对MAML的评价比较高，感觉这就是通用人工智能的雏形。

1. Mode Based

• To do

2. Metric Based

• 元学习中有一类是基于度量学习 (metric learning) 的小样本学习。度量学习的大致想法是学习一个强大的、具有良好迁移能力的特征提取器 (feature extractor) 来直接应用到目标任务上。这样，通过一个少参或者无参的分类器（比如 nearest neighbour）就可以做小样本分类任务了。

• 度量学习是希望通过将样本从原来的输入空间，映射到另一个便于区分的样本空间中，采用一定的度量手段来逐一度量该样本与所有已知类别之间的相似度。

• 这一部分的方法是比较多的，最经典的就是Siamese Network，它通过一组CNN或者LSTM来对输入进行Embedding，然后采用L1或者L2对输入和已知类别中采样的样本进行相似度匹配。
• Matching Net 也是一个比较经典的方法，它借鉴了记忆网络和NTM的思想构造了含有memory和Attention的网络结构，分别为Support Set和 Batch Set构造decoder，并在训练的过程中使训练集的每个类别的样本保持在较少的体量，以保证和测试阶段的一致性。
• 另外就是原型网络和关系网络，原型网络认为在样本的Embedding空间中每个类别一定是呈类别分布存在的，而且每一个类别都有一个原型表达（原论文中作者采用的所有样本的均值）然后就是采用KNN的思路，对新样本和每一个类别的原型表达求最近邻。
• Relation Net主要关注的是相似度度量的方法，它采用神经网络的方法对Embedding的相似度进行了度量（论文还没读）。

3. Optimization Based

AU数值计算：DRML、EAC-Net

Meta Learning

• 有一类小样本学习的思路是元学习 (meta-learning) 方法。元学习的大致想法是利用大量跟目标任务相似的任务（或者历史任务）来学习一个元学习器 (meta-learner)，然后作用到目标任务上获得一个不错的模型初值，从而能够仅利用少量目标任务的数据对模型进行快速适配。

拟读论文

传统算法：MAML
华为工作-元学习：AAAI2020-Meta-Learning Pac-Bayes Priors in Model Averaging
华为工作-度量学习：ICCV2019