吴帆

学习笔记17

1. 总结了对抗攻击在实际的应用场景下的问题：《Concrete Problems for Autonomous Vehicle Safety: Advantages of Bayesian Deep Learning》这篇文章首先是提到了在机器学习模型的实际应用中（文中是以自动汽车驾驶为例），在模型从输入到输出的映射过程，也就是一个预测或者分类的过程中，常常会做出一些决策（比如概率大于一定阈值就产生一个判定），这种决策的产生舍弃了一些原本输入中的不确定性。尤其是在多模型系统的应用中，这种差错的传递就会让最终的安全性受到影响。而攻击者，就可以利用这种差错的累积，通过攻击，让部分模型产生小差错并影响最终的决策（让自动驾驶汽车最终根据被攻击者稍微影响的传感器传回的数据做出错误的决策）。《Adversarial examples in the physical world》也通过实验，将FGSM和iteration FGSM生成的对抗样本打印出来，并裁剪成相同的大小规格，用相机拍下来，再用分类器模型来识别图片的内容，发现了这种打印出来的对抗样本同样会影响模型的分类准确率。因此认为对抗样本可能在实际中危害比较大。《NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles》后来又在前两者的实验基础上，将实验设定了比较多的自变量，探究外界因素（比如光线、角度等）对现实对抗样本的影响，这也符合实际场景，因为实际环境就是多变的。并且用FGSM、Iteration FGSM和L-BFGS生成的对抗样本，打印出来裁剪成一定规模之后测试其对探测器的准确率的影响。发现了距离对对抗样本对抗性的衰减特别严重，并且角度也会影响这种攻击效果。于是得出只要目的模型观察仔细（调整角度和距离），就不会受到攻击者的影响。《Standard detectors aren’t (currently) fooled by physical adversarial stop signs》最近也将原本实际应用中对抗样本对分类器的影响改为对抗样本对探测器的影响。区别在于，前者更加符合理想条件，且变量比较少，图片比较单一；而后者就更加实际一些，在实际应用中，比如自动汽车驾驶问题中，汽车所处的环境，汽车的行进速度，汽车的位置等等都会影响最终识别的时候的图片效果。而这篇文章也发现了目前效果最好，攻击性最强的对抗样本构建算法并没有在实际中有很强的稳定性。
   总的来说，这些文章缺乏一个统一的标准，也就是怎么样才能说一个攻击时实际可行的，需要让模型降低多大的准确率，又需要处在什么样的环境下测量。因此，这种规则标准的制定，是一个问题。拓展来说，与探究模型的鲁棒性相对应的，这也是对对抗样本稳定性的探究。
2. 看完了上次的论文《Can you fool AI with adversarial examples on a visual Turing test?》
   论文笔记