论文阅读笔记 E2VID：High Speed and High Dynamic Range Video with an Event Camera

学习笔记

0. 前言

• 相关资料：
  
  • arxiv
  • github
  • 参考
• 论文基本信息
  
  • 领域：事件相机，图像重建
  • 作者单位：The Robotics and Perception Group，the University of Zurich and ETH Zurich
  • 发表时间：TPAMI 2019
• 一句话总结
  
  • 解决由于噪声积累导致图像质量快速下降的问题，之前的方法都添加了人工先验，重建结果有人工痕迹，因此作者首次提出用神经网络直接从事件流重建高质量视频。

1. 要解决什么问题

• 理论上讲事件流包含所有的视觉信号，以一种高度压缩的方式，因此，可以被解压缩来重建视频流，不论是高速还是高动态的场景。但是真是的事件相机是充满噪声的，并且与理想相机模型非常不同，所以重建是一个ill-posed病态问题。直接对事件流积分会由于噪声累积而导致图像质量快速下降。所以，早期的工作为了解决这个问题提出基于手工设计的图像先验，比如参考文献[2-5]。然而，这种先验有关于自然图像很强的假设，导致出现很多不真实的重建以及人工痕迹。所以至今为止，从事件流重建高质量的视频都不能令人信服。

2. 用了什么方法

3. 效果如何

4. 还存在什么问题&新Idea

5. 需要进一步了解的相关文献

• 证明事件流可以重建视频流的工作
  
  • [8] M. Cook, L. Gugelmann, F. Jug, C. Krautz, and A. Steger, “Interacting maps for fast visual interpretation,” in Int. Joint Conf. Neural Netw. (IJCNN), 2011, pp. 770–776.
  • [17] H. Kim, A. Handa, R. Benosman, S.-H. Ieng, and A. J. Davison, “Simultaneous mosaicing and tracking with an event camera,” in British Mach. Vis. Conf. (BMVC), 2014.
• 早期用手工设计先验的方法
  
  • [2] P. Bardow, A. J. Davison, and S. Leutenegger, “Simultaneous optical flow and intensity estimation from an event camera,” in IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), 2016, pp. 884–892
  • [3] S. Barua, Y. Miyatani, and A. Veeraraghavan, “Direct face detection and video reconstruction from event cameras,” in IEEE Winter Conf. Appl. Comput. Vis. (WACV), 2016, pp. 1–9.
  • [4] G. Munda, C. Reinbacher, and T. Pock, “Real-time intensity-image reconstruction for event cameras using manifold regularisation,” Int. J. Comput. Vis., vol. 126, no. 12, pp. 1381–1393, Jul. 2018.
  • [5] C. Scheerlinck, N. Barnes, and R. Mahony, “Continuous-time intensity estimation using event cameras,” in Asian Conf. Comput. Vis. (ACCV), 2018.
• 其他
  
  • [18] D. Gehrig, H. Rebecq, G. Gallego, and D. Scaramuzza, “Asynchronous,
    photometric feature tracking using events and frames,” in Eur. Conf.
    Comput. Vis. (ECCV), 2018.
  • [11] H. Kim, S. Leutenegger, and A. J. Davison, “Real-time 3D reconstruction
    and 6-DoF tracking with an event camera,” in Eur. Conf. Comput. Vis.
    (ECCV), 2016, pp. 349–364.