《Efficient Defenses Against Adversarial Attacks》论文笔记

PaperNotes Secure

Citing

Zantedeschi V, Nicolae M I, Rawat A. Efficient Defenses Against Adversarial Attacks[J]. 2017.

Abstract

本论文提出了一种基于实际观察的有效的defence方法，容易整合到模型中，并且比目前而言最好的defence策略表现效果更好。其主要的策略是增强深度神经网络的结构，从而使预测更加稳定，不易被对抗样本迷惑。同时，文章还与其他defence方法在不同attack策略，黑盒以及白盒攻击的情境下进行了对比。而且，本文提出的增强神经网络结构的方法，并没有为初始深度神经网络模型带来训练上的负担和训练效果的负优化。

Contribution

1. 提出了一种双重defence方法，能够在对原来模型标准训练代价影响较小的情况下完成配置。
2. 进行一系列实验，将各种对抗攻击方式，应用到包括本文提出的defence方法等各种防御方法上，并探究了黑盒和白盒攻击及攻击的可移植性。并对各种方法效果进行了评估，证明单单从准确度判断defence方法效果时不完善的。

Efficient Defence

本文提出的新的defence方法，从两个角度入手：
1. 受限ReLU:传统的神经网络激活函数会用到ReLU函数，但是在面对对抗攻击时，往往从输入来的一个小的扰动会沿着神经网络一直累积到模型的输出，这会体现在最终的输出中，导致输出一个错误的分类结果。而本文提出了一种ReLU激活函数的改进版本，即是受限ReLU。其定义为：
这里的t根据输入的范围设定，最终传统的ReLU激活函数，会受限于t的大小和学习到的层级间的权重，因此可以增强网络的稳定性。

1. 高斯数据增强：这个defence方法的思想是增强模型的泛化能力，让模型能将原始数据和经过扰动后的数据分类相同。

总结

论文中有一句话概括了当前在对抗攻击方向上的研究：While numerous hypotheses compete to provide an explanation for adversarial samples, their root cause still remains largely unknown. The quest of understanding this phenomenon has turned into an arms race of attack and defense strategies.
和深度神经网络类似，在对抗攻击原理的理解的假说有很多，但是假说终归是假说，其根本原理还是有很大的未知性。而目前对这种对抗攻击原理的探索，就是通过对attack和defence策略的相互提高进步得来的。每有一种效果更好的attack策略和defence策略的提出，都是在向理解其根本原理进步。

深度神经网络的原理本来就处于很难被理解的状态，为什么能发挥作用也是黑盒。而本文通过加强深度神经网络结构来达到defence目的的方法，也是建立在对对抗攻击原理不了解的基础上的。