吴帆1130

学习笔记17

这几天的工作：

两个physical方面的研究点：

contribution1：对抗样本鲁棒性和高效性的探究。如果能够知道在实际应用中是什么因素影响了对抗样本的效果，如何改动会让目标模型的准确度降低更明显，就可以给如何构造更加稳定的对抗样本，如何更加高效地构造对抗样本提供一种future direction：
影响构造对抗样本的鲁棒性主要有以下因素：
1. 扰动perturbation的规模：这个原因在很多篇文章中都有提及，也比较容易理解，扰动越大，构造出的对抗样本效果显然会更好，但是同样会让对抗样本容易被目的模型察觉出来。比如《Intriguing properties of neural networks》中扰动越大效果越明显。
2. 迭代训练的次数，对这个因素的探究在《Adversarial examples in the physical world》也有提及，随着迭代的增加，对抗效果总体越来越强。
3. 对抗训练的目标函数，比如《Adversarial examples in the physical world》中，随着迭代次数的增加，FGSM、迭代FGSM以及最小可能性FGSM的效果逐渐明显。
4. 训练的算法：经过不同算法构造出的对抗样本具有的对抗性也是不同的，这个是影响对抗样本鲁棒性的主要因素。比如用《Towards evaluating the robustness of neural networks》中的CW算法构建的对抗样本，相比于《Explaining And Harnessing Adversarial Examples》中的方法，能以更小的扰动实现更好的攻击效果。
5. 限制样本规模的方法：比如范数因素。这个问题在《Deepfool: a simple and accurate method to fool deep neural networks》中有提及，在这个任务中，用L2范数作为限制扰动规模的项时效果最好。

影响对抗样本在实际中的鲁棒性（即生成的对抗样本在新的模型、新的训练数据、新的环境中对抗样本依然具有很强攻击能力）的因素主要如下：
1. 攻击样本的目标任务（也就是说目的模型是什么类型的，是针对的分类任务、检测任务还是生成假数据的生成任务呢？）
2. 数据类型是什么样的（文本、语音、视频还是图像呢？）
3. 所处的具体环境的影响因素（光线，距离，角度，图片大小，图片分辨率）
4. 训练对抗样本的算法、模型结构、训练方法。
5. 评估攻击效果的方式（是用TOP-1标准还是TOP-5标准？是测试准确度还是测试准确度的损失值？），不同评价标准得到的结果是不同的。比如在图片对抗样本实验，应用在现实中时，对抗准确度的损失值测量结果与实际准确度的测量结果就有很大差异。
需要讨论究竟是什么在将构造好的对抗样本用于实际环境中时，影响了对抗样本的鲁棒性？关于这个原因的探究，《Adversarial examples in the physical world》在文章中进行了五个假设，分别是图片亮度、对比度、高斯模糊、高斯噪音以及图片编码格式。除此之外，我觉得还有可能是这个影响因子的有：图片的色彩（色域是RGB，还是sRGB呢,还是NTSC呢），图片的形状（原型图片，方形图片，五角星等等），图片内容（人物，景色还是纯色等）。其他因素还可以再考虑。

contribution2:
在前面内容的基础上，还有一个可能的拓展的defence policy的策略研究方向，可以作为一个contribution：是否可以在知道是什么影响了对抗样本的鲁棒性的基础上，人为给所有待识别样本添加一个perturbation，这个扰动不会影响正常样本的识别率，但是会影响对抗样本的对抗效果。是否可以用这种方法实现对”对抗样本”的“对抗攻击”呢？

实验思路

我们的目的是要针对一个任务，如何设置上述变量才能让攻击效果最好呢？在这个过程中，什么因素影响了攻击的效果呢？如果要采用实验探究这些因素的影响的话，可以用下面的思路：
1. 任务分类，按照任务的不同区别对待，不同的任务选择的影响因素肯定不一样。比如对于图片识别和语音识别，可能对同一种算法，使对抗效果最优的迭代次数是不一样的。
2. 根据不同的任务选择合适的算法，针对不同的算法在相同的训练环境下测试其攻击效果，并在现实环境中测试攻击效果。
3. 将上述任务中出现的迭代次数、模型结构、训练方法、扰动规模、正则方法等因素作为自变量，探究对特定任务影响最大的变量是什么。
4. 得到这个变量，再通过改变这个变量观察结果，来判断为什么会产生这种效果。比如如果其他因素不变，发现迭代次数对效果影响最明显，那么随着迭代次数的增加，我们可以通过观察对抗图片与原始图片的差别或者测量其欧氏距离等方法发现里面的改变。
如果能达到上述目的，以后对于相同任务构建对抗样本，就可以比较有针对性。

另外整理了综述文章的outline和每个部分引用论文的文档，完成矩阵论的翻译作业。