Camera Model

1. 功能分类

• Area Scan / Line Scan

  • Area Scan - 最常见的相机

  • Line Scan - 打印机里的扫描仪

• Color / Monochrome 彩色 / 黑白

• CMOS / CCD

  • CMOS - Complementary Metal Oxide Semiconductor

  • CCD - Charged Coupled Device

  目前 CMOS 的综合性能会更好一些

• Global Shutter 全局快门 / Rolling Shutter 卷帘快门

  • Global Shutter - Capture entire frame at once

  • Rolling Shutter - Capture image line by line

  由于卷帘快门的抓拍有顺序，因此会出现如下状况

  1. 与抓拍物的相对运动会导致抖动和变形

  2. 抓拍闪光等瞬时效果时，不一定能拍全，此时（快门速度 < 闪光消失速度）

  全局快门相机更适合运动摄影，但是呢...更贵，得爆金币（XP

• Resolution 分辨率

  • 320p - QVGA

  • 640p - VGA

  • 720p - HDR

  • 1080p - FHD

  • 1440p - QHD

  • 2160p - 4K UHD

  • 4320p - 8K UHD

• Frame Rate 帧率

  15Hz / 30Hz / 60Hz...

• Focal Length 焦距

  Fixed 固定焦距 / Auto-Focus 自动对焦

• Connection Interface

  USB 3.0 / GigE ...

 

 

 

 

 

2. Color Space

2.1 RGB[A]

一般的彩图是以 RGB（Red-Green-Blue）格式储存的

• 一般R, G, B channel values在不同图片类型下的取值范围：

  
  
  
  
  
  
  
  xxxxxxxxxx
   
  3
   
   
   
   
   
   
   
   
  1
   
  CV_8U       8bit unsigned integer       0 - 255
   
   
   
  2
   
  CV_16U      16bit unsigned integer      0 - 65535
   
   
   
  3
   
  CV_32F      32bit floating point        0 - 1
   
   
   
   
   
   
   

• Alpha Channel是除了RGB以外的第四通道——“非彩色通道”，能读取透明度

 

 

 

2.2 Gray / Greyscale 灰度图

一般只有一个 Channel

RGB转灰度的常用公式为

 

 

 

2.3 HSV

Hue - Saturation - Value / 色相 - 饱和度 - 明度

• Hue 色相 - Base Pigment

• Saturation 饱和度 - Depth of Pigment

• Value 明度 - Darkness of Pigment

HSV - RGB conversion is mathematically lossless

 

 

 

 

 

3. Rigid Body Motion

基于欧拉角的刚体运动描述方式

 

3.1 2D Rotation

$p$$p$ 点在 Frame $\{A\}$$\{A\}$ 中坐标记为 $p_A(x_a,y_a)$$p_A(x_a, y_a)$， 与 $x$$x$ 轴夹角为 $\alpha$$\alpha$

现在将它旋转 $\theta$$\theta$ 度到 Frame $\{B\}$$\{B\}$， 此时的 $p$$p$ 在 $\{B\}$$\{B\}$ 中坐标记为 $p_B(x_b,y_b)$$p_B(x_b, y_b)$

从上图其实可以看出 $p_A=p_B$$p_A = p_B$，然并卵，这信息不加工没有任何用处

How to express $p_B$$p_B$ in $\{A\}$$\{A\}$ coordinates ?

Define

• $R_{AB}=$$R_{AB} =$ coordinates of $\{B\}$$\{B\}$ in $\{A\}$$\{A\}$

• $x_{B\{A\}}=$$x_{B\{A\}} =$ $x$$x$ coordinate of $\{B\}$$\{B\}$ expressed in $\{A\}$$\{A\}$

• $y_{B\{A\}}=$$y_{B\{A\}} =$ $y$$y$ coordinate of $\{B\}$$\{B\}$ expressed in $\{A\}$$\{A\}$

然后就能得到如下关系式

证明？嘿嘿嘿...Trivial !

 

• 通用表达方式

  [General Case] $p$$p$ moving from $\{A\}$$\{A\}$ to $\{B\}$$\{B\}$

  

  上图中，点 $p$$p$ 从 Frame $\{A\}$$\{A\}$ （以黑色虚线标注）变换到 Frame $\{B\}$$\{B\}$ （以黑色实线标注），此时有

  • $p_B⟶$$p_B \longrightarrow$ coordinates of $p$$p$ in $\{B\}$$\{B\}$

  • $p_A⟶$$p_A \longrightarrow$ coordinates of $p$$p$ in $\{A\}$$\{A\}$

  • $R_{AB}=$$R_{AB} =$ coordinates of $\{B\}$$\{B\}$ in $\{A\}$$\{A\}$

  • $R_{BA}=$$R_{BA} =$ coordinates of $\{A\}$$\{A\}$ in $\{B\}$$\{B\}$

  $$\begin{array}{c}{p}_A=R_{AB}\cdot p_B\\ p_B=R_{BA}\cdot p_A\end{array}$$

   

• Important Properties

  1. $\det (R)=1$$\det{(R)} = 1$

  2. $R{R}^T=R^{T}R=I$$RR^T = R^TR = I$

     $⟶R^T=R^{-1}$$\longrightarrow R^T = R^{-1}$

     $⟶R_{AB}^T=R_{BA}$$\longrightarrow R_{AB}^T = R_{BA}$

 

 

 

3.2 2D Translation

这个甚至都不需要画图表示了，$p$$p$ 点从 $\{A\}$$\{A\}$ 平移到 $\{B\}$$\{B\}$ 可以用如下关系式表达

 

 

 

3.3 Homogeneous Coordinates

Homogeneous Coordinates 齐次坐标，这到底是什么捏

• 旋转 & 平移 Review

  3.1 和 3.2 的流程如果都用最基本的矩阵描述，那就是

  此处更换一下notation，用更加通用的 $q$$q$ 来表示被变换点，用 $p$$p$ 来表示 Translation

  2D Rotation

  $$\begin{array}{c}{q}_A=R_{AB}\cdot q_B⟶\underset{q_A}{\underbrace{\left[\begin{array}{c}{x}_A\\ y_A\end{array}\right]}}=\underset{R_{AB}}{\underbrace{\left[\begin{array}{cc}\cos \left(\theta \right)& -\sin \left(\theta \right)\\ \sin \left(\theta \right)& \cos \left(\theta \right)\end{array}\right]}}\underset{q_B}{\underbrace{\left[\begin{array}{c}{x}_B\\ y_B\end{array}\right]}}\end{array}$$

  2D Translation

  $$\begin{array}{c}{q}_A=p_{AB}+q_B⟶\underset{q_A}{\underbrace{\left[\begin{array}{c}{x}_A\\ y_A\end{array}\right]}}=\underset{p_{AB}}{\underbrace{\left[\begin{array}{c}{p}_{x(AB)}\\ p_{y(AB)}\end{array}\right]}}+\underset{q_B}{\underbrace{\left[\begin{array}{c}{x}_B\\ y_B\end{array}\right]}}\end{array}$$

  where

  • $R_{AB}\in {\mathbb{R}}^{2\times 2}⟶$$R_{AB}\in\mathbb{R}^{2\times2} \longrightarrow$ Coordinates of $\{B\}$$\{B\}$ in $\{A\}$$\{A\}$

  • $p_{AB}\in {\mathbb{R}}^2⟶$$p_{AB} \in\mathbb{R}^{2} \longrightarrow$ Position of $\{B\}$$\{B\}$ in $\{A\}$$\{A\}$

  • $q_A\in {\mathbb{R}}^2⟶$$q_A \in\mathbb{R}^{2} \longrightarrow$ Position of point $q$$q$ in $\{A\}$$\{A\}$

  • $q_B\in {\mathbb{R}}^2⟶$$q_B \in\mathbb{R}^{2} \longrightarrow$ Position of point $q$$q$ in $\{B\}$$\{B\}$

 

• 暴力 V.S. 优雅 运动描述

  两个运动，两个公式；那如果只用一个公式，一次性表达 Rotation + Translation 呢？

  $$q_A=R_{AB}\cdot q_B+p_{AB}$$

  如果你觉得还好，那大可以试试多做几个运动，然后依然只用一个公式表达...

  $$q_A=R_{AB}(R_{BC}\cdot q_C+p_{BC})+p_{AB}$$

  再套几层，动作顺序shuffle一下，这样还能分辨的出哪个运动属于哪个步骤就有鬼了...

  现在我告诉阁下，有某种方式能用一条统一且简洁的 Matrix Train 来描述运动，那阁下该如何应对

 

• Homogeneous Coordinates

  实现上述简洁方法的方式就是变换成 Homogeneous Coordinates 齐次坐标

  换而言之，就是把运动过程放到高一维度的空间来描述：2D 运动变成 3D，3D 运动变成 4D，以此类推...

  "Add another coordinate to our points"

  • Position

    $$\begin{array}{rl}q=\left[\begin{array}{c}x\\ y\end{array}\right]& ⟶\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\\ \\ & ⟶\left[\begin{array}{c}q\\ 1\end{array}\right]\end{array}$$

  • Rotation Matrix

    $$\begin{array}{rl}R=\left[\begin{array}{cc}\cos \left(\theta \right)& -\sin \left(\theta \right)\\ \sin \left(\theta \right)& \cos \left(\theta \right)\end{array}\right]& ⟶\left[\begin{array}{ccc}\cos \left(\theta \right)& -\sin \left(\theta \right)& 0\\ \sin \left(\theta \right)& \cos \left(\theta \right)& 0\\ 0& 0& 1\end{array}\right]\\ \\ & ⟶\left[\begin{array}{cc}R& 0\\ 0& 1\end{array}\right]\end{array}$$

  • Translation Matrix

    $$\begin{array}{rl}p=\left[\begin{array}{c}{p}_x\\ p_y\end{array}\right]& ⟶\left[\begin{array}{ccc}1& 0& p_x\\ 0& 1& p_y\\ 0& 0& 1\end{array}\right]\\ \\ & ⟶\left[\begin{array}{cc}I& p\\ 0& 1\end{array}\right]\end{array}$$

    我们要用统一的方式描述所有运动，所以新的 Translation Matrix 的 Dimension 会和新的 Rotation Matrix 保持一致

 

• Homogeneous Transformation Matrix (HTM)

  用 Homogeneous Coordinates 描述的运动矩阵，统称为 Homogeneous Transformation Matrix 齐次变换矩阵 $T$$T$

  这种矩阵可以通过直接相乘合并使用，不同的相乘顺序会得到不同的结果

  • 先 Translate，后 Rotate

    $$\begin{array}{c}\left[\begin{array}{cc}I& p\\ 0& 1\end{array}\right]\left[\begin{array}{cc}R& 0\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}R& p\\ 0& 1\end{array}\right]\end{array}$$

  • 先 Rotate，后 Translate

    $$\begin{array}{c}\left[\begin{array}{cc}R& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}I& p\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}R& Rp\\ 0& 1\end{array}\right]\end{array}$$

  [General Form of HTM]

  参数 $R$$R$ 和 $p$$p$ 可以随便配置，只要记住其本质变换顺序即可

  $$\begin{array}{c}T=\left[\begin{array}{cc}R& p\\ 0& 1\end{array}\right]\end{array}$$

 

• 使用说明

  1. 一般 $p$$p$ 点从 Frame $\{B\}$$\{B\}$ 到 $\{A\}$$\{A\}$ 的齐次变换

     $$\begin{array}{c}\left[\begin{array}{c}{q}_A\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{AB}& p_{AB}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{q}_B\\ 1\end{array}\right]\end{array}$$

     对应的公式展开为

     $$q_A=R_{AB}\cdot q_B+p_{AB}$$

  2. 用 Matrix Train 表示 $p$$p$点 在多个 Frame 之间的齐次变换

     $$q_A=T_{AB}\cdot T_{BC}\cdot T_{CD}\cdot q_D$$

  3. Important Properties

     • $\det (T)=1$$\det{(T)} = 1$

     • $T^T=T^{T}T=I$$T^T = T^TT = I$

       $⟶T^T=T^{-1}$$\longrightarrow T^T = T^{-1}$

       $⟶T_{AB}^T=T_{BA}$$\longrightarrow T_{AB}^T = T_{BA}$

     • 能让两条平行线相交 （see 3.4.2）

     性质上和 Rotation Matrix 几乎没有任何区别，相当于是一个高维的特殊 Rotation Matrix

 

 

 

3.4 齐次坐标下的平移运动

• Translation Visualized

  2D Translation 在三维中实际上是一个剪切变换，示例如下

  Given coordinates in the Initial Frame and Homogeneous Transformation Matrix (HTM)

  $$\begin{array}{ccc}\text{Initial Coordinates: }{p}_i=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]& & \text{HTM: }H=\left[\begin{array}{ccc}1& 0& 0.4\\ 0& 1& 0.5\\ 0& 0& 1\end{array}\right]\end{array}$$

  Then the coordinates of $p$$p$ after translation is

  $$\begin{array}{c}H\cdot p_i=\left[\begin{array}{ccc}1& 0& 0.4\\ 0& 1& 0.5\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}0.5\\ 0.4\\ 1\end{array}\right]\end{array}$$

  If we visualize this process in 3D space...

  

  • 白点 $⟶$$\longrightarrow$ 即 $p$$p$ 点的位置

  • 黄点 $⟶$$\longrightarrow$ 白点在 $z=0$$z = 0$ 处的二维平面上的映射

  • 蓝色立方体区 $⟶$$\longrightarrow$ 这个这个立方体可以想象为所有 Coordinates，即所有 $p$$p$ 点之集合

    可以抽象化表达为 $p=[p_x,p_y,p_z{]}^T$$p = [p_x, p_y, p_z]^T$，并非一定要使 $p_z=1$$p_z = 1$

  • 白点所在的蓝色平面 $⟶$$\longrightarrow$ 这个平面可以想象为所有符合二维平移运动之要求的 Coordinates，即所有 $p_z=1$$p_z = 1$的 $p$$p$ 点之集合

    可以抽象化表达为 $p=[p_x,p_y,1{]}^T$$p = [p_x, p_y, 1]^T$

 

• 如何解释图中的形变？

  图中形变是一种透视投影 （see 5）

  可以发现，蓝色立方体区因为齐次变换而整体发生了形变，可以把之前设定的 $p_i$$p_i$ 换成任何一个蓝色立方体区域内的坐标，然后与齐次变换矩阵 $H$$H$ 相乘即可验证

  

  上图中，白色虚线表示的是形变后的原来在 $z$$z$ 轴上的点

  若用 $\omega$$\omega$ 表示一个点在 $z$$z$ 轴上的坐标，那么所有$z$$z$ 轴上的点可以表示为

  $$\begin{array}{c}{p}_i=\left[\begin{array}{c}0\\ 0\\ \omega \end{array}\right]\end{array}$$

  而这条线的形变过程则可以表示为

  $$\begin{array}{c}H\cdot p_i=\left[\begin{array}{ccc}1& 0& 0.4\\ 0& 1& 0.5\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}0\\ 0\\ \omega \end{array}\right]=\left[\begin{array}{c}0.5\omega \\ 0.4\omega \\ \omega \end{array}\right]=\omega \cdot \left[\begin{array}{c}0.5\\ 0.4\\ 1\end{array}\right]\end{array}$$

  $\omega =1$$\omega = 1$ 所描述的平面被称为归一化平面，即上图中从下往上起第一个蓝色平面

 

 

 

 

 

4. Pinhole Camera Model

首先设定固定不动的 Global Frame $W$$W$ 和可以自由运动的 Camera Frame $C$$C$

上图中的一些元素

• 白点 $⟶$$\longrightarrow$ 世界坐标系下的物体坐标点

• 蓝色平面 $⟶$$\longrightarrow$ Image Plane 相机成像平面

• 蓝点 $⟶$$\longrightarrow$ 白点在相机成像平面上的投影

描述这个投影过程需要解决如下的问题

1. Coordinates Conversion from $W⟶C$$W \longrightarrow C$

   解决方案：Extrinsic Matrix 相机外参矩阵 $E$$E$

2. Coordinates Projection from $C⟶\text{Image Plane}$$C \longrightarrow \text{Image Plane}$

   解决方案：Intrinsic Matrix 相机内参矩阵 $K$$K$

 

 

 

4.1 Extrinsic Matrix 外参矩阵

Extrinsic Matrix 外参矩阵的功能是将物体在 Global Frame 中的坐标转换到 Camera Frame 中，是 3D 空间的坐标转换

可以直接把 3.3 - 使用说明 1. 中的公式拿来用，只需要把 $q_A,q_B,R_{AB},p_{AB}$$q_A, q_B, R_{AB}, p_{AB}$ 全都变成三维的版本就可以了！

• $R_{AB}\in {\mathbb{R}}^{3\times 3}⟶$$R_{AB}\in\mathbb{R}^{3\times3} \longrightarrow$ Coordinates of $\{B\}$$\{B\}$ in $\{A\}$$\{A\}$

• $p_{AB}\in {\mathbb{R}}^3⟶$$p_{AB} \in\mathbb{R}^{3} \longrightarrow$ Position of $\{B\}$$\{B\}$ in $\{A\}$$\{A\}$

• $q_A\in {\mathbb{R}}^3⟶$$q_A \in\mathbb{R}^{3} \longrightarrow$ Position of point $q$$q$ in $\{A\}$$\{A\}$

• $q_B\in {\mathbb{R}}^3⟶$$q_B \in\mathbb{R}^{3} \longrightarrow$ Position of point $q$$q$ in $\{B\}$$\{B\}$

where $E$$E$ is the Extrinsic Matrix

Degrees of Freedom

好消息，我们的世界中三个维度 $(x,y,z)$$(x,y,z)$ 是完全正交的，因此 $R_{AB}\in SO(3)$$R_{AB}\in SO(3)$，哪怕它实际有9个参数，实际上也只有 3 DOF

$$E⟶3\text{ DOF}(R_{AB})+3\text{ DOF}(p_{AB})=6\text{ DOF}$$

外参矩阵 Extrinsic Matrix 一共有 6 个自由度

 

 

 

4.2 Intrinsic Matrix 内参矩阵

• Problem Statement

  通过 4.1 的 Extrinsic Matrix $E$$E$，我们可以把物体的位置从世界坐标下转换到相机坐标下

  内参矩阵会解决从相机坐标到Image Plane 像平面 的投射问题

  

  • 红点 $p(x,y,z)⟶$$p(x, y, z) \longrightarrow$ 物体在相机坐标系中的位置

  • 蓝点 $p^{\prime }(x^{\prime },y^{\prime },f)⟶$$p'(x', y', f) \longrightarrow$ 物体在蓝色平面，即 Image Plane 像平面上上的投影点

  • 蓝色平面 $⟶$$\longrightarrow$ Image Plane 成像平面

  • $f⟶$$f \longrightarrow$ 焦距

  • $z⟶$$z \longrightarrow$ 主光轴 Optical Axis，与 Image Plane 的交点称 Principal Point $(c_x,c_y)$$(c_x, c_y)$

• Image Plane Problems

  以下所有问题均可甩锅给生产工艺

  1. Principal Point 正好在 Image Plane 的中心，即 $(c_x,c_y)=(0,0)$$(c_x, c_y) = (0, 0)$

     实际上：有 偏移 Offset

  2. 每个 Image Plane 的 $x$$x$ 与 $y$$y$ 的比例是正常的

     实际上：有 缩放 Scaling

  3. 每个 Image Plane 的 $x$$x$ 与 $y$$y$ 轴是完美正交的

     实际上：有 偏斜 Skew

  Offset 和 Scaling 可以在获得投影点坐标的时候就解决问题 (see 4.2.1)，Skew会更复杂 (see 4.2.2)

 

 

4.2.1 如何获得投影点坐标

上图中，$p$$p$，$p^{\prime }$$p'$ 与 $\{C\}$$\{C\}$ 的 $(x,z)$$(x, z)$ 平面形成了一些相似三角形，可以求得 $x^{\prime }$$x'$ 和 $y^{\prime }$$y'$ 为

考虑主光轴偏移，则投影点在 Image Plane 上的坐标 $(u,v)$$(u, v)$ 为

等式右边转化为用 matrix 表达

然后 get rid of $z$$z$，在深度上归一化

从 3D 到 2D 的 Dimension Loss 就发生于此

然后就会得到

最后一步，采集到的图像后需要数字化 Digitization / Pixelization，同时解决 像平面缩放

Assume ${\rho }_w$$\rho_w$ and ${\rho }_h$$\rho_h$ are width and height of each pixel

 

 

4.2.2 Skewed Image Plane

从相机镜头投到 Image Plane 的图像是以左侧的，但是为了让 Image Plane 能正确接收，我们需要把图像变换到右侧

从上图可得到如下坐标变换公式

把从 4.2.1 中得到的结论从 Matrix Form 变成 Equation Form，然后代入上式

 

 

4.2.3 Summary

• Pixelized Matrix Form

  $$\begin{array}{c}z\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\underset{K}{\underbrace{\left[\begin{array}{ccc}{f}_x& f_x\cot \left(\theta \right)& c_x\\ 0& f_y/\sin \left(\theta \right)& c_y\\ 0& 0& 1\end{array}\right]}}\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\end{array}$$

• Pixelized Matrix Form, Normalized

  $$\begin{array}{c}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\underset{K}{\underbrace{\left[\begin{array}{ccc}{f}_x& f_x\cot \left(\theta \right)& c_x\\ 0& f_y/\sin \left(\theta \right)& c_y\\ 0& 0& 1\end{array}\right]}}\left[\begin{array}{c}x/z\\ y/z\\ 1\end{array}\right]\end{array}$$

• Pixelized Equation Form

  $$\{\begin{array}{l}u=f_x\cdot \frac{x_{skew}}{z}+c_x\\ v=f_y\cdot \frac{y_{skew}}{z}+c_y\end{array}\text{with }\{\begin{array}{l}{x}_{skew}=\hat{x}-\hat{y}\cot \left(\theta \right)\\ y_{skew}=\hat{y}/\sin \theta \end{array}$$

And $K$$K$ is the Intrinsic Matrix

Degrees of Freedom

5 个参数，内参矩阵 Intrinsic Matrix 一共有 5 个自由度

 

 

 

4.3 Lens Distortion 透镜畸变

相机肯定不止是小孔（光圈），它也有透镜（镜头），而透镜通常会导致图像变形...然后你的坐标就不对了

好消息是，我们只需要在算投影点坐标前增加一步 Anti-Distortion 就好了

坏消息是，不是一般的麻烦...

Lens Distortion 大部分是 Radial Distortion，少部分是 Tangential Distortion

OpenCV 提供的解决方案是用一种长得非常离谱的...系数...

where

• $r^2=x^{\prime 2}+y^{\prime 2}$$r^2 = x'^2 + y'^2$

• $k_i$$k_i$ are Radial Distortion Coefficients, and typically

  Higher-Order Coefficients are not considered in OpenCV

  • $k_1>0⟶$$k_1>0 \longrightarrow$ Barrel Distortion

  • $k_1<0⟶$$k_1<0 \longrightarrow$ Pincushion Distortion

投影点坐标可以用如下的方式计算

1. 算齐次坐标

2. 抗畸变（4.2.1 里没有这一步）

3. 算投影点坐标

$x^{\prime },y^{\prime }$$x', y'$ 和之前的定义稍微有点区别，方便起见，我们会把 $f_x,f_y$$f_x, f_y$ 移后面去

 

 

 

4.4 Model Summary

• 通用写法

  已知 Global Frame $\{W\}$$\{W\}$ 下物体坐标 $p(x,y,z)$$p(x, y, z)$，求 Camera Frame $\{C\}$$\{C\}$ 下投影点坐标的流程为

  1. $\{W\}⟶\{C\}$$\{W\} \longrightarrow \{C\}$

     $$\begin{array}{c}\left[\begin{array}{c}{x}_C\\ y_C\\ z_C\\ 1\end{array}\right]=\underset{\text{Extrinsics }E}{\underbrace{\left[\begin{array}{ccc}{R}_{CW}& & p_{CW}\\ & & \\ 0& & 1\end{array}\right]}}\left[\begin{array}{c}{x}_W\\ y_W\\ z_W\\ 1\end{array}\right]\end{array}$$

  2. $\{C\}⟶\text{Image Plane}$$\{C\} \longrightarrow \text{Image Plane}$

     $$\begin{array}{c}{z}_C\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\underset{\text{Intrinsics }K}{\underbrace{\left[\begin{array}{ccc}{f}_x& f_x\cot \left(\theta \right)& c_x\\ 0& f_y/\sin \left(\theta \right)& c_y\\ 0& 0& 1\end{array}\right]}}\left[\begin{array}{c}{x}_C\\ y_C\\ z_C\end{array}\right]\end{array}$$

  然后 get rid of $z_C$$z_C$，留下 $(u,v)$$(u, v)$ 就完成了

• Dimension 能对上的写法

  上面的那种 Dimension 没法直接对上，所以此处把 Extrinsic Matrix 的最后一层削了，让它变成 Euclidean Rigid Transformation

  $$E=\left[\begin{array}{cc}{R}_{CW}& p_{CW}\end{array}\right]\in {\mathbb{R}}^{3\times 4}$$

  然后就能写成略丑但 Dimension Match 的版本了

  $$\begin{array}{c}{z}_C\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\stackrel{\text{Camera Matrix }M}{\overbrace{\underset{\text{Intrinsics }K}{\underbrace{\left[\begin{array}{ccc}{f}_x& f_x\cot \left(\theta \right)& c_x\\ 0& f_y/\sin \left(\theta \right)& c_y\\ 0& 0& 1\end{array}\right]}}\underset{\text{Extrinsics }E}{\underbrace{\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& p_1\\ r_{21}& r_{22}& r_{23}& p_2\\ r_{31}& r_{32}& r_{33}& p_3\end{array}\right]}}}}\left[\begin{array}{c}{x}_W\\ y_W\\ z_W\\ 1\end{array}\right]\end{array}$$

Degrees of Freedom

$$M⟶5\text{ DOF}(K)+6\text{ DOF}(E)=11\text{ DOF}$$

相机矩阵 Camera Matrix 一共 11 个自由度

 

 

 

 

 

5. Camera Calibration

以找 Intrinsic Matrix 为目的的 Checkerboard Calibration

以找 Extrinic Matrix 为目的的 Perspective-n-Point Problem

 

5.1 Checkerboard Calibration

Camera Intrinsics are generally static，校准只需要一次即可

除非经历长途运送或者受到了很大的冲击，不然不会轻易改变

棋盘格是很好的判断成像形变的参照物，checkerboard calibration 是非常通用的校准方法

如果你会用 AprilTag 这类标记符号，也可以用下图的 AprilTag 棋盘，反正不管哪种都有一对 Libraries 能用

 

 

 

5.2 PnP Problem

PnP = Perspective-n-Point

• Given

  $K⟶$$K \longrightarrow$ 相机内参

  $X_i\in {\mathbb{R}}^3⟶$$X_i \in \mathbb{R}^3 \longrightarrow$ $n$$n$ 组三维空间中的点

  $x_i\in {\mathbb{R}}^2⟶$$x_i \in \mathbb{R}^2 \longrightarrow$ $X_i$$X_i$ 映射到相机 Image Plane 上的坐标

  对应点一般至少要给 3 组

• Find

  $E=[R|p]\in {\mathbb{R}}^{3\times 4}⟶$$E = [R \;| \;p] \in \mathbb{R}^{3\times 4} \longrightarrow$ 相机外参，即相机姿态

  where $R\in SO(3)$$R\in SO(3)$ and $p\in {\mathbb{R}}^3$$p \in \mathbb{R}^3$

• 应用场景

  • Augmented Reality (AR)

  • Structure from Motion (SfM)

  • ... ...