《EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples》论文笔记

PaperNotes Secure

Citing

Title:
EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples
Authors:
Chen, Pin-Yu; Sharma, Yash; Zhang, Huan; Yi, Jinfeng; Hsieh, Cho-Jui
Publication:
eprint arXiv:1709.04114
Publication Date:
09/2017
Origin:
ARXIV
Keywords:
Statistics - Machine Learning, Computer Science - Cryptography and Security, Computer Science - Learning
Bibliographic Code:
2017arXiv170904114C

论文前面主要的背景知识的介绍，后面大篇幅讲了一些和其他攻击方法的对比实验，以及针对不同神经网络（有无defence策略等）的效果的实验。我主要关注了论文提出的算法本身原理和实现方法。

Introduction and Conclusion

现有多数生成对抗样本的方法是基于L2和L∞损失度量的。论文提出用“弹性网优化问题”的思路来生成对抗样本——EAD（elasticnet attacks to DNNs）方法。实验结果发现，用这种方法生成的对抗样本具有和目前为止效果最好的对抗样本相似的攻击表现。并且，EAD生成的对抗样本还具有更好的transferability。也因此，文章生成的对抗样本能在对抗训练中更好地提升神经网络的稳定性。

Details of Algorithm

1. 先了解一些前提概念

   • 弹性网正则：也就是在损失函数添加正则项的时候，线性地结合$L_1$和$L_2$正则项。如下面式子：
     

   • 这个方法常常在高维特征选择问题上被用到（？）

2. EAD公式及其泛化
   论文的损失函数借鉴了Carlini和 Wagner刚刚提出的对抗样本构建方法（Carlini, N., and Wagner, D. 2017b. Towards evaluating the robustness of neural networks. In IEEE Symposium on Security and Privacy (SP), 39–57）（这个文章提出的算法也是目前效果最好的对抗样本构建方法），其损失函数如下：
   
   （这个方法是在Carlini论文中提出的，还没有看过，打算接下来看这篇文章）
   论文在此基础上，增加了弹性网的正则项，目标函数变成了：
   
   而这个目标函数，就是要得到
   整个迭代构建的对抗样本的过程为
   
   这个过程用到的方法称为iterative shrinkage-thresholding algorithm (ISTA) ，在迭代的每一步，都增加的额外的阈值收缩，从而可以优化代价函数。