《Universal adversarial perturbations》论文笔记

PaperNotes Secure

Title:
Universal adversarial perturbations
Authors:
Moosavi-Dezfooli, Seyed-Mohsen; Fawzi, Alhussein; Fawzi, Omar; Frossard, Pascal
Publication:
eprint arXiv:1610.08401
Publication Date:
10/2016
Origin:
ARXIV
Keywords:
Computer Science - Computer Vision and Pattern Recognition, Computer Science - Artificial Intelligence, Computer Science - Learning, Statistics - Machine Learning
Comment:
Accepted at IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017
Bibliographic Code:
2016arXiv161008401M
Citing
Moosavi-Dezfooli S M, Fawzi A, Fawzi O, et al. Universal adversarial perturbations[J]. 2016.

Abstract

论文提出了一种万能且不易察觉的perturbation，它能使目前最好的分类器，在完成图片分类任务时出错。并且提出计算这种万能perturbation的系统化算法。通过这个算法得到的perturbation，在各种神经网络情况下都能取得很好的效果。这揭示了目前分类器分类“判定边界”在高维度上的几何关系。

Introduction

论文示例图片如下：

文章主要的contribution如下：
1. 证明了针对各种深度神经网络，都有与图片无关的万能perturbation的存在
2. 提出了找到这种万能perturbation的算法
3. 最终得到的万能perturbation在泛化能力上非常显著
4. 证明了这种perturbation不只是在图片上很有用，在各种深度神经网络中效果都很不错，即是 doubly-universal的扰动：对不同图片都有用，同时对不同网络结构也能构成对抗攻击
5. 通过测试神经网络“判定边界”的不同部分的几何关系，论文对上述万能perturbation的存在作了解释和分析

Universal perturbation

万能perturbation的构造算法
算法得到的perturbation需要满足两个条件：

即第一是扰动的规模要比较小，第二是原来的数据叠加了扰动之后，分类器的输出错误率要大于一个阈值。
整体的算法如下：

其算法思想是对于图片数据中的每一个点，依次计算能使得最终分类器的输出错误的最小扰动，一直循环知道将整体分类错误的概率大于 1 − δ，其中 δ 为人为定义的分类器准确度。而算法的关键不是为了找到一个能使大多数样本分类错误的最小perturbation，而是用足够小的范数找到这样的一个扰动。这是这个算法计算出的perturbation比较Universal的原因。

Experiment

论文在多个数据集上进行了实验，得到的误判概率如下：

其中，X是用来计算扰动用到的采样得到的数据集，而validation是验证集，在计算perturbation时没有用到。从图中可以发现，这个universal perturbation产生的扰动，在验证集下也能达到很高的误分类率，因此得到的perturbation是一种在同一网络结构下，各种图片都有效的扰动。
同时，论文将上面得到的perturbation，应用到其他网络结构中，

证明了这个perturbation对不同网络结构也是universal的。

Explaining the vulnerability to universal perturbations

论文通过将本文中的万能perturbation与其他四种对抗perturbation进行比较来帮助理解。这四种perturbation分别是：随机perturbation、用随机选择的样本计算的对抗perturbation、对数据集X计算的对抗扰动的总和、图片的平均值。比较的结果如下：

从结果可以发现，Universal Perturbation能以更快地速度，在扰动还比较小的时候就达到比较高的错误分类率，效果更好。