【论文阅读】NoPe-NeRF：优化无位姿先验的神经辐射场

论文阅读笔记

---

1. 什么是相机标定？为什么要进行相机标定？什么是相机内参和外参？

• 参考机器视觉相机标定的目的、原理及步骤

1.1 什么是相机标定？

• 在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。

1.2 为什么要进行相机标定？

• 进行相机标定的目的：求出相机的内、外参数，以及畸变参数。
• 标定相机后通常是想做两件事：
  
  • 一个是由于每个镜头的畸变程度各不相同，通过相机标定可以校正这种镜头畸变矫正畸变，生成矫正后的图像；
  • 另一个是根据获得的图像重构三维场景。
• 标定的重要性
  
  • 无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。

1.3 什么是相机内参和外参？

• 相机进行标定时建立的成像几何模型参数就是相机参数，包括相机内参、相机外参和畸变系数。
  
  • 相机内参将相机坐标点转换为像素坐标点；
  • 相机外参将世界坐标点（即真实空间位置点）转换为相机坐标点。
• 有四个坐标系
  
  • 世界坐标系 World coordinate ： 对应真实世界位置，描述相机位置和待测物体的空间位置，单位m，也称为测量坐标系。
  • 相机坐标系 Camera coordinate ：光心为原点，单位m。一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。
  • 图像坐标系：原点为成像平面中点，单位mm
  • 像素坐标系 Pixel coordinate ：原点是图像左上角，单位pixel，横纵坐标是像素在数组中的列数和行数。

1.4 常用术语

• 内参矩阵: Intrinsic Matrix
• 焦距: Focal Length
• 主点: Principal Point
• 径向畸变: Radial Distortion
• 切向畸变: Tangential Distortion
• 旋转矩阵: Rotation Matrices
• 平移向量: Translation Vectors
• 平均重投影误差: Mean Reprojection Error
• 重投影误差: Reprojection Errors
• 重投影点: Reprojected Points

1.5 成像模型

$$Z_c\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} \frac{1}{d x} & 0 & u_0 \\ 0 & \frac{1}{d y} & v_0 \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{cccc} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{ll} R & T \\ \overrightarrow{0} & 1 \end{array}\right]\left[\begin{array}{c} X_w \\ Y_w \\ Z_w \\ 1 \end{array}\right]=\left[\begin{array}{cccc} f_x & 0 & u_0 & 0 \\ 0 & f_y & v_0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{cc} R & T \\ \overrightarrow{0} & 1 \end{array}\right]\left[\begin{array}{c} X_w \\ Y_w \\ Z_w \\ 1 \end{array}\right]$$

• 其中$\left[\begin{array}{cccc} f_x & 0 & u_0 & 0 \\ 0 & f_y & v_0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]$是相机内参，$\left[\begin{array}{cc} R & T \\ \overrightarrow{0} & 1 \end{array}\right]$是相机外参。

• $X_w$、$Y_w$、$Z_w$是世界坐标系点，$u$、$v$是像素坐标系点。$Z_c$是比例因子，$f$为有效焦距（光心到图像平面的距离）。

• 其中相机的内参和外参可以通过张正友标定获取。通过最终的转换关系来看，一个三维中的坐标点，的确可以在图像中找到一个对应的像素点（为什么？你自己想想矩阵的运算，你就可以知道了），但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的Zc的值。

2. 什么是单目深度估计？