Diffusion 事件图像重建计算PSNR, SSIM

学术

E2VID实验

• ECD_IJRR17数据集
  
  • 定量结果
    
    • Table 1：MSE, SSIM, LPIPS, PSNR
    • Table 2: Temporal Error
  • 定性结果
    
    • boxes_6dof
    • office_zigzag
    • shapes_6dof

• SOFIE_CVPR16

  • 定性结果
    
    • face

• E2VID test dataset

  • 定性结果Fig8，测试高速运动
    
    • Air Balloon
    • Water Balloon
    • Mug Shooting
    • Gnome Shooting
  • 定性结果Fig，测试高动态范围
    
    • Selfie
    • Tunnel Drive
    • Direct Sunlight

• 彩色数据集【45】

  • 定性结果Fig11，测试彩色图像合成

• 分类任务

  • N-MNIST\N-CARS\N-Caltech101三个数据集Table3，定量结果

• 计算效率\消融实验

• Edge Cases

ECD_IJRR17数据集

• ECD_IJRR17数据集每条序列有如下文件结构：

|--- images
    |--- frame_00000000.png
    |--- frame_00000001.png
    ...
|--- calib.txt
|--- events.txt
|--- groundtruth.txt
|--- images.txt
|--- imu.txt
# event.txt
59.766334001 151 110 0
59.766334001 16 141 0
59.766334001 157 141 0
59.766335001 53 171 0
59.766335001 148 154 0
# images.txt
59.280601000 images/frame_00001259.png
59.327667000 images/frame_00001260.png
59.374732001 images/frame_00001261.png
59.421797001 images/frame_00001262.png
59.468863001 images/frame_00001263.png
59.515928000 images/frame_00001264.png
59.562993000 images/frame_00001265.png
# dynamic_6dof.txt
1473347576.785583734512 91 112 1
1473347576.785585641861 205 164 1
1473347576.785585641861 208 161 1
1473347576.785585641861 134 132 0
1473347576.785586595535 113 134 0
1473347576.785586595535 140 156 0

• Diffusion model推理结果的文件结构为：

|--- results
    |-- 1_0_sr.png
    |-- 2_0_sr.png
    ...

测试脚本逻辑

1. 为每个事件序列生成resample_img_{W}{H}{num_events_per_pixel}.txt文件放在同一路径下，文件内容示例：

# 序号 时间戳 对应图像路径
1 1468941032.611914634705 images/frame_00000008.png
2 1468941032.701698541641 images/frame_00000010.png

1. 用上一步生成的文件中的序号对应Diffusion model 推理结果(待测图像)的图像索引序号，与resample_img文件的对应图像路径（GT）形成一对图像对，计算定量指标。
   
   • 所以resample_img.txt文件行数应当等于Diffusion model推理结果图像数量。
   • 问题：
     
     • 确定event到底用哪个？确定原始event能不能用，调试一下看看，最好用原始event数据。
     • 确定定量测试用哪种方式生成？fixedsize还是fixedDuration，两种都调一下，看结果哪种更好。