第5讲 相机与图像

视觉slam14讲

---

1 相机模型

相机模型是用来描述将三维世界坐标系中的坐标点映射到二维图像平面的过程
使用针孔和畸变两个模型来描述整个投影过程。

1.1 针孔相机模型

(1) 相机坐标系内中物理坐标点$P=[X,Y,Z]^T$,
(2) 成像平面内成像坐标点$P^{'}=[X^{'},Y^{'},Z^{'}]^T$, 焦距为$f$,
通过对称成像平面和归一化成像平面得到二者关系为

$$X^{'}=f\frac{X}{Z} \\ Y^{'}=f\frac{Y}{Z}$$
(3) 像素坐标系内像素坐标为$[u,v]^T$，像素坐标系和成像平面相差了一个缩放($u轴缩放\alpha 倍，v轴缩放\beta 倍$)和一个原点的平移$[c_x,c_y]^T$
$p^{'}$和像素坐标$[u,v]^T$关系为
$$u=\alpha X^{'}+c_x \\ v=\beta Y^{'}+c_y$$
代入上式得到像素坐标和相机坐标系内点的关系，
$$u=f_x\frac{X}{Z} \\ v=f_y\frac{Y}{Z}$$
其中， $$f_x=\alpha f, f_y=\beta f$$
齐次化写成矩阵形式，
$$\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\frac{1}{Z} \begin{bmatrix} f_x & 0 & c_x\\ 0 & f_y & c_y\\ 0&0&1 \end{bmatrix}\begin{bmatrix} X\\ Y\\ Z \end{bmatrix}=\frac{1}{Z}KP$$ 按照传统习惯将$Z$挪到左侧，表达的就是相机坐标系中点和像素坐标系中像素的关系
$$Z\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}= \begin{bmatrix} f_x & 0 & c_x\\ 0 & f_y & c_y\\ 0&0&1 \end{bmatrix}\begin{bmatrix} X\\ Y\\ Z \end{bmatrix}=KP$$
把中间量$K$称作相机内参。 $$K=\begin{bmatrix} f_x & 0 & c_x\\ 0 & f_y & c_y\\ 0&0&1 \end{bmatrix}$$
相机坐标$P$是由它的世界坐标$P_w$变换而来，相机位姿由$R,t$决定。那么有下式成立，
$$ZP_{uv}=Z\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=K(RP_w+t)=K(TP_{w})_{(1:3)}$$
最后一个式子里面隐含着一次齐次坐标到非齐次坐标的转换($TP_w$的最后一维是1)，也就是 $$\tilde{P_c}=(TP_{w})_{(1:3)}=\begin{bmatrix} X\\ Y\\ Z \end{bmatrix}$$
两边除以$Z$, 所以， $$P_{uv}=\frac{1}{Z}K(RP_w+t)=\frac{1}{Z}K(TP_{w})_{(1:3)}=\frac{1}{Z}K\tilde{P_c}=K\begin{bmatrix} \frac{X}{Z}\\ \frac{Y}{Z}\\ 1 \end{bmatrix}=KP_c$$
其中$P_c$称为归一化坐标，二维的齐次坐标，它位于相机前方$z=1$的平面上，叫做归一化平面。
其实到现在才理解了什么是归一化平面，这个平面其实是相机坐标系下的一个平面，利用3d点除以z得到的平面。

变换过程总结：
世界坐标系下点$P_w\xrightarrow{R,t 或者 T}$相机坐标$\tilde{P_c}\xrightarrow{投影到归一化平面}$归一化相机坐标$P_c=\begin{bmatrix} \frac{X}{Z}\\ \frac{Y}{Z}\\ 1 \end{bmatrix} \xrightarrow{经过内参}$像素坐标$P_uv$

1.2 畸变

• 径向畸变
  透镜的形状引起，有桶形失真和枕形失真。
• 切向畸变
  相机组装过程不能使透镜和成像平面严格平行引起。

一般使用的去畸变处理方法：先对整张图像去畸变，得到去畸变后的图像，然后讨论图像上点的空间位置。

1.3 双目相机模型

$f$为焦距，$O_L,O_R$为左右光圈中心，$u_L,u_R$为成像平面坐标，$b$为双目的基线，$z$是物体点距离双目基线的距离，$d$为视差(disparity)

根据三角形相似得到

$$\frac{z-f}{z}=\frac{b-u_L+u_R}{b}$$
整理得到
$$z=\frac{fb}{d}, d=u_L-u_R$$

可见双目的深度受限于$fb$,另外视差$d$的计算比较困难，只有在图像纹理变化丰富的地方才能计算视差。

1.4 RGBD相机模型

原理

• 红外结构光
• 飞行时间法

2 图像的存储和访问

2.1 图像的宽度和高度

$eg:$一张宽度为$w=640$,高度为$h=480$像素的分辨率灰度图(0~255)表示为

//unsigned char image[h][w]
unsigned char image[480][640]

传统像素坐标系为$X$轴向右，$Y$轴向下，$Z$轴向前(里)

unsigned char image[y][x]

也就是

数组的行数$\xrightarrow{ \quad}$高度$h$$\xrightarrow{ \quad}Y$轴
数组的列数$\xrightarrow{ \quad}$宽度$w$$\xrightarrow{ \quad}X$轴

2.2 图像的通道

彩色图像需要使用通道(channel)来表示，常见有3个通道,每个通道有8位整数表示，这样的话一个像素占24位空间。

3 点云拼接

//1. 获取真实深度d，由像素坐标u,v求出归一化平面上坐标X,Y(相机坐标系)
Eigen::Vector3d point; 
point[2] = double(d)/depthScale; 
point[0] = (u-cx)*point[2]/fx;
point[1] = (v-cy)*point[2]/fy; 
//2. 将相机坐标系下的点转到世界坐标系下
Eigen::Vector3d pointWorld = T_w_c*point;
//3. 3D点赋值(RGB和XYZ)
PointT p ;
p.x = pointWorld[0];
p.y = pointWorld[1];
p.z = pointWorld[2];
p.b = color.at<cv::Vec3b>(v,u)(0);
p.g = color.at<cv::Vec3b>(v,u)(1);
p.r = color.at<cv::Vec3b>(v,u)(2);
//4. 3D点加入点云中
pointCloud->points.push_back( p );
//5. 保存点云
pcl::io::savePCDFileBinary("map.pcd", *pointCloud );