论文阅读：Image Translation to Enhance IR2VIS Image Registration

未分类

1. Abstract: 故事逻辑

做什么

• 图像转换用于增强红外到可见光图像配准任务

动机&意义

• 红外到可见光(IR2VIS)图像配准面临着跨模态特征提取和匹配的挑战。

现有方法缺点&本文要解决的问题

• 传统的方法通常为红外(IR)和可见光设计相同的关键点探测器(VIS)图像。在关键点检测之前，还将VIS图像转换为灰度图像。红外光谱和VIS灰度图像具有不同的性质，这可能不适用于同一特征检测器。

如何解决？

• 提出ITIER用于红外与可见光图像配准，红外图像首先用WGGAN转换到真实VIS域中，用于跨模态特征检测。然后关键点检测和匹配以及单应转换也被集成到ITIER中，作用在生成图像和原始VIS图像上。

如何验证解决方法有效？

• 实验结果表明通过转换操作大大提高了图像配准精度。

2. Introduction：故事的引入

• 随着传感器技术和纳米技术的发展，多种传感器应用于边缘设备上用来增强感知。在自动驾驶和无人驾驶飞行器上，红外和可见光相机被集成用于目标检测中的上下文增强。 VIS图像具有丰富的物体纹理和颜色信息，有助于物体检测。然而，在不稳定的环境条件下，如黑暗的夜晚和多云的天气，VIS图像的光照变化可能会降低系统的感知能力。相反，红外图像可以通过感知热辐射来感知可见光谱以外的场景。然而，红外图像缺乏纹理和上下文信息，这也导致计算机视觉任务的性能下降。（这说明了为啥非得用可见光和红外两种相机，而不是雷达或者其他的传感器，因为可见光和红外各有优点且对目标检测任务来说互补） 在这方面，最近的现代视觉系统提出了几种通过多模态学习方案将IR和VIS图像结合起来的方法。虽然多模态学习可以改善系统感知，但在整个训练和部署过程中，这些方法需要大量对齐的IR和VIS图像对。 由于感官特性的差异，IR和VIS图像通常不对齐，难以校准。因此，在训练多模态系统或图像融合之前，需要进行图像配准（引出对齐任务）。

现有方法缺点展开分析

• 传统思路缺点：

  • 在过去的几十年里，许多图像配准方法被提出来匹配VIS域内的图像。这些方法的目的是发现图像上的关键点，然后应用搜索方法来匹配这些关键点上的特征。尺度不变特征变换(SIFT)和定向快速旋转BRIEF (ORB)是常用的关键点描述符，而Brute-Force (BF)和FLANN (Fast Library for Approximate Nearest Neighbors)通常用于匹配检测到的特征。然而，传统的IR2VIS图像配准方法在IR图像和VIS图像之间设计跨模态特征描述符非常费力，即从IR图像中提取的特征不能准确地与VIS图像上的特征相关联。这些问题限制了它们配准VIS和IR图像。
  • 跨模态 -> 特征差异大 -> 特征点匹配难

• 切入点&本文解决思路的引入

  • 随着图像翻译技术的发展，生成对抗网络(Generative adarial Networks, GANs)被提出用于图像转换中的人物再识别，以及红外和可见光域之间的人脸识别。然而，还缺乏针对多模态图像配准的GANs研究。因此，我们提出了一种通过非配对图像到图像转换增强的IR2VIS图像配准方法。采用WGGAN作为图像转换模型，将灰度IR图像转换为与采集到的VIS图像特征相似的彩色图像。值得注意的是，在转换风格的同时，图像到图像的转换可以通过小波变换保持红外图像中物体的位置和形状。此外，采用变分推理增强了生成的鲁棒性。

本文贡献：

• 提出了ITIER算法，实现了红外图像与VIS图像之间的多模态配准WGGAN。实验结果表明，该方法在匹配IR和VIS图像上提高了配准效果。
• 该方法将变分推理和小波变换相结合，用于生成从IR到VIS域的高分辨率图像。
• 提出的方法简化了红外和VIS域之间的多模态图像配准过程。

3. Related Works

图像转换

• 成对图像转换
• 非成对图像转换

图像配准

• 在工业系统中，IR和VIS传感器被组装起来，以实现24小时的系统感知。此外，红外和VIS感觉融合可以显著提高系统在计算机视觉任务中的性能。然而，由于不对齐问题，红外和VIS传感器的信息很难直接融合在红外图像和可见光图像之间没有事先配准的情况下，融合方案是不可实现的。
• STN 21

TO DO List

• 红外和RGB成像原理和Render过程的结合？
• 跨模态在NeRF融合过程中的难点？
• 为什么要用NeRF做RGB和红外的配准？