《Concrete Problems for Autonomous Vehicle Safety:Advantages of Bayesian Deep Learning》论文笔记

Secure PaperNotes

Information
Rowan McAllister, Yarin Gal†, Alex Kendall, Mark van der Wilk, Amar Shah, Roberto Cipolla, Adrian Weller†
Department of Engineering, University of Cambridge, UK† also Alan Turing Institute, London, UK，
Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI-17)
citation
Mcallister R, Gal Y, Kendall A, et al. Concrete Problems for Autonomous Vehicle Safety: Advantages of Bayesian Deep Learning[C]// Twenty-Sixth International Joint Conference on Artificial Intelligence. 2017:4745-4753.
概要
这篇论文主要讲的是安全的实际应用。
在自动汽车领域，软件方面就是通过一系列流程，将各种传感器的输入链接到发动机的输出上。而在这种传播过程中，如果有信息的损失就会有差错（比如将80%几率不会相撞直接判断为不会相撞） 。各个部分的差错也会被依次累积传递下去，最终输出错误的结果。
同时，要让客户信任自动汽车，并使用这个系统，必须在三个方面开展研究：自动汽车的安全性（通过量化每个部分输出的不确定性，并且将这个不确定性也顺着流程传递下去）、可解释性（向客户解释自动汽车所看到的，并且为什么作出一系列决策，从而让客户安心）、顺从性（指的是让客户在自动汽车驾驶过程中维持对汽车的控制）。

自动汽车软件系统由多个单独的子系统组合而成。主要有object detection and localisation components负责场景识别，scene prediction component负责根据场景来预测汽车的运动，最后，decision components做出汽车最终动作决定，控制发动机完成汽车驾驶。而目前，这三个方面渐渐使用深度学习工具搭建，比传统的方法在多个任务上具有更好地效果。但是，基于深度学习的自动汽车软件系统也有许多挑战。正如容易受到对抗样本的干扰，从而做出错误的决断。

提升自动汽车可靠性的三个方面

Safety

在自动汽车的软件部分由多个单独的部分联合构成。为了提升系统的安全性，提升每个部分是必要但不是充分的，因为单个部分的错误会随着整体流程而累积。因此，为了避免最终输出的结果出现错误，应该把每个部分的错误和不确定性都体现在其输出上，最终的输出也就体现了所有部分的不确定性。
而传播这种不确定性主要有两种方法：一种是贝叶斯概率理论，一种是ensembling。而利用贝叶斯工具掌握这种不确定性在传统自动汽车研究中已经使用过。但是与深度学习系统结合，还存在很多困难。
因此，论文提出了贝叶斯深度学习（Bayesian Deep Learning）模型。

如上图，利用BDL模型的自动汽车，可以得到汽车有可能会相撞的结果，从而采取相应的停车措施。
而在自动汽车的各个部分，都采用BDL工具。

Interpretability

解释性算法能让客户掌握自动汽车作的每一个决策以及得到的输出。这种掌握可以采取三种形式：图像、文字语言或者听觉。这样，每一个客户对自动汽车整个系统就有了比较直观的理解。比如，可以通过在路程中询问：“你为什么突然左转”，自动汽车就会给出作出左转决策的原因。而对这个问题的探索，有两个技术方面：model saliency 和 auxiliary outputs。前者根据图片显示与系统决策关联最显著的部分；后者是根据传感器的输入得到辅助输出，显示系统的控制信息。

Compliance

这部分即是让自动汽车也能服从人的命令，而不是一味按照自己的算法模型作出决策。这样也能让客户感觉可靠。而自动汽车服从命令主要是按照两个方面：passenger reassurance和 law abiding。前者是根据乘客的需要改变决策，后者是所有的决策要在法律允许的范围内，要满足社会常识的前提。

因为这篇论文和对抗攻击的关联不大，只是给针对各种攻击的defence提供了一种利用贝叶斯公式传递不确定性的思想。所以后面详细的实例细节未作整理。