Single-View Geometry

1. Homography 单应变换

Homography converts one Convex Quadrilateral to another，也称 Projective Transform 投影变换

Convex Quadrilateral 凸四边形

四边形的所有内角 $<180\mathrm{°}$$< 180\degree$，所有对角线都在形状内

Assume the transform from Image B $(x,y)⟶$$(x, y)\longrightarrow$ Image A $(u,v)$$(u,v)$ with homography is $H_{AB}\in PGL(3)$$H_{AB} \in PGL(3)$

• 不变量：4个共线点的 cross-ratio

• 自由度：8 DOF

  对 Homography 进行 scaling 是不会影响其效果的，因此可以 scale with $h_{33}$$h_{33}$

  $$\begin{array}{c}\frac{H_{AB}}{h_{33}}=\left[\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ n_{31}& n_{32}& 1\end{array}\right]\end{array}$$

  这样得到的新矩阵就只有 8个参数了

 

 

 

1.1 投影 v.s. 透视

补充材料里的 Perspectivity (see 3.2.2) 看起来和 Projectivity (Homography) 非常相似，但是二者并不相同，透视只是投影的一种

• Projectivity 是纯数学的二维平面变换

• Perspectivity 有物理限制，是专门描述三维场景映射到二维平面的变换

 

 

1.1.1 Example 1

现实中，多个 Perspectivity 可以组成一个 Projectivity，但不一定仍然是 一个Perspectivity

上图中，Image 1 和 Image 2 是在不同角度拍下的 ABC 的照片

• Perspectivity

  • $ABC\rightleftharpoons abc$$ABC \rightleftharpoons abc$

  • $ABC\rightleftharpoons a^{\prime }{b}^{\prime }{c}^{\prime }$$ABC \rightleftharpoons a'b'c'$

  这两个变换都遵循了三维到二维的透视投影

• Projectivity

  • $abc\rightleftharpoons a^{\prime }{b}^{\prime }{c}^{\prime }$$abc \rightleftharpoons a'b'c'$

  这个变换几乎完全无视物理法则，所以不能直接用 单一的perspectivity 描述了

 

 

1.1.2 Example 2

• 左图 Image 1 & Image 2

  相机在不同位置拍摄同一物体得到的图片

  可以通过多个 perspectivity 组合成 perspective homography 用于变换

• 右图 Image 1 & Image 2

  相机在相同位置旋转后拍摄同一物体得到的图片，有 common center of projection

  但是没有 common plane！两张图片只共同包含了物体的一部分（x 与 x‘），不存在能用 perspectivity 的结构

  只能用 non-perspective homography 变换这两张图的一部分

 

 

 

1.2 矩阵求解 & 图像拼接

1.2.1 Image Stitching

如上图所示，相机绕一个 common center of projection 旋转拍摄三张图片 ${\mathrm{\Pi }}_1,{\mathrm{\Pi }}_2,{\mathrm{\Pi }}_3$$\Pi_1, \Pi_2, \Pi_3$

若想它们投影到一个新的平面 ${\mathrm{\Pi }}_P$$\Pi_P$ 上拼接成一张完整的广角图，那就需要如下 Homography

• $H_{P1}⟶$$H_{P1} \longrightarrow$ 从 ${\mathrm{\Pi }}_1$$\Pi_1$ 到 ${\mathrm{\Pi }}_P$$\Pi_P$

• $H_{12}⟶$$H_{12} \longrightarrow$ 从 ${\mathrm{\Pi }}_2$$\Pi_2$ 到 ${\mathrm{\Pi }}_1$$\Pi_1$

• $H_{13}⟶$$H_{13} \longrightarrow$ 从 ${\mathrm{\Pi }}_3$$\Pi_3$ 到 ${\mathrm{\Pi }}_1$$\Pi_1$

Homography 按照需要的变换顺序相乘即可合并

 

 

1.2.2 求解 Homography

常用的方法是 Direct Linear Transformation (DLT)

• Requirement

  a set of AT LEAST 4 pairs of matching points between Image 1 and Image 2

  

• Computation

  虽然看起来有 9 个未知参数，但是如 1. 开头所言，homography 可以转化为只有 8 个未知量的矩阵

  $$\begin{array}{c}w\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\end{array}$$

  展开处理后得到

  $$\{\begin{array}{ll}uw& =h_{11}x+h_{12}y+h_{13}\\ vw& =h_{21}x+h_{22}y+h_{23}\\ w& =h_{31}x+h_{32}y+h_{33}\end{array}⟶\{\begin{array}{l}u\cdot (h_{31}x+h_{32}y+h_{33})=h_{11}x+h_{12}y+h_{13}\\ v\cdot (h_{31}x+h_{32}y+h_{33})=h_{21}x+h_{22}y+h_{23}\end{array}$$

  整理

  $$\{\begin{array}{l}0=h_{11}x+h_{12}y+h_{13}-(h_{31}ux+h_{32}uy+h_{33}u)\\ 0=h_{21}x+h_{22}y+h_{23}-(h_{31}vx+h_{32}vy+h_{33}v)\end{array}$$

  然后变回矩阵

  $$\begin{array}{c}\underset{\text{Matching Points }(x,y)\to (u,v)}{\underbrace{\left[\begin{array}{ccccccccc}x& y& 1& 0& 0& 0& -ux& -uy& -u\\ 0& 0& 0& x& y& 1& -vx& -vy& -v\end{array}\right]}}\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\\ h_{33}\end{array}\right]=0\end{array}$$

  只需要把已有的 Matching Point Pairs 代入上式，然后就可以 Stacking Matrix，最后得到

  • 齐次线性方程组

    求 9 个参数

  $$\begin{array}{c}\underset{A\text{ (Known)}}{\underbrace{\left[\begin{array}{ccccccccc}{x}_1& y_1& 1& 0& 0& 0& -u_1{x}_1& -u_1{y}_1& -u_1\\ 0& 0& 0& x_1& y_1& 1& -v_1{x}_1& -v_1{y}_1& -v_1\\ \\ x_2& y_2& 1& 0& 0& 0& -u_1{x}_2& -u_2{y}_2& -u_2\\ 0& 0& 0& x_2& y_2& 1& -v_1{x}_2& -v_2{y}_2& -v_2\\ \\ ⋮& ⋮& 1& 0& 0& 0& ⋮& ⋮& ⋮\\ 0& 0& 0& ⋮& ⋮& 1& ⋮& ⋮& ⋮\end{array}\right]}}\underset{h\text{ (Unknown)}}{\underbrace{\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\\ h_{33}\end{array}\right]}}=0⟶A\cdot h=0\end{array}$$

  • 一般线性方程组

    求 8 个参数

    $$\begin{array}{c}\underset{A\text{ (Known)}}{\underbrace{\left[\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -u_1{x}_1& -u_1{y}_1\\ 0& 0& 0& x_1& y_1& 1& -v_1{x}_1& -v_1{y}_1\\ \\ x_2& y_2& 1& 0& 0& 0& -u_1{x}_2& -u_2{y}_2\\ 0& 0& 0& x_2& y_2& 1& -v_1{x}_2& -v_2{y}_2\\ \\ ⋮& ⋮& 1& 0& 0& 0& ⋮& ⋮\\ 0& 0& 0& ⋮& ⋮& 1& ⋮& ⋮\end{array}\right]}}\underset{h\text{ (Unknown)}}{\underbrace{\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\end{array}\right]}}=\underset{B\text{ (Known)}}{\underbrace{\left[\begin{array}{c}{u}_1\\ v_1\\ \\ u_2\\ v_2\\ \\ ⋮\\ ⋮\end{array}\right]}}⟶A\cdot h=B\end{array}$$

  这是一个 Overdetermined System of Equations，照着补充材料里介绍的解法求就好了 (see 3.1)

 

 

 

 

 

2. Single-View Geometry 单视几何

2.1 无穷

2.1.0 基础定义

• 定义：直线

  

  一条直线 $l$$l$ 可以如此表示

  $$l:a{x}_1+b{x}_2+c=0⟶l^T=\left[\begin{array}{ccc}a& b& c\end{array}\right]$$

  变成矩阵形式

  $$\begin{array}{c}{l}^T\cdot x=\underset{l}{\underbrace{\left[\begin{array}{ccc}a& b& c\end{array}\right]}}\underset{x}{\underbrace{\left[\begin{array}{c}{x}_1\\ x_2\\ 1\end{array}\right]}}=0\mathrm{\forall }x\in l\end{array}$$

  这种 $l$$l$ 的表达式其实就是 $l$$l$ 在齐次形式下的直线法向量，你从它和直线上点的点乘结果为 0 就可以看出来

• 定义：交点

  

  两条直线 $l$$l$ 与 $l^{\prime }$$l'$ 的交点 $x$$x$ 为

  $$x=l\times l^{\prime }$$

  证明如下，众所周知 (see 3.3)

  1. Cross Product of two vectors is a vector orthogonal to both

  2. 两个垂直的向量之点乘一定是 0

  因此有

  $$\begin{array}{rl}(l\times l^{\prime }{)}^T\cdot l=0& ⟶x^T\cdot l=0\\ (l\times l^{\prime }{)}^T\cdot l^{\prime }=0& ⟶x^T\cdot l^{\prime }=0\end{array}$$

  所以 $x$$x$ 一定在 $l$$l$ 和 $l^{\prime }$$l'$ 上，即两线之交点

• 定义：平行线

  设定两条直线

  $$\begin{array}{rl}l& :a{x}_1+b{x}_2+c=0\\ l^{\prime }& :a^{\prime }{x}_1+b^{\prime }{x}_2+c=0\end{array}$$

  变成比较熟悉的形式

  $$\begin{array}{rl}l& :x_2=-\frac{a}{b}{x}_1-\frac{c}{b}\\ l^{\prime }& :x_2=-\frac{a^{\prime }}{b^{\prime }}{x}_1-\frac{c^{\prime }}{b^{\prime }}\end{array}$$

  若 $l$$l$ 与 $l^{\prime }$$l'$ 平行，则一定满足

  $$-\frac{a}{b}=-\frac{a^{\prime }}{b^{\prime }}$$

 

 

2.1.1 无穷远点 (2D)

设定两条平行线 $l$$l$ 与 $l^{\prime }$$l'$

则其交点

由于两条线平行，所以有

代入两线交点矩阵可知其第三维一定是 0

由于 $x$$x$ 在 $l$$l$ 和 $l^{\prime }$$l'$ 上，因此它一定满足

而满足这一条件的只有

不信你可以代入点在线上的点乘条件看看，方便起见，我们用前者

 

 

2.1.2 无穷远线 (2D)

无穷远线定义式

证明如下，所有无穷远点都可以写成

二者点乘可得

满足点在线上的条件，$l_{\mathrm{\infty }}$$l_{\infin}$ 的确是无穷远线

 

 

2.1.3 结论扩张到 3D

无穷远的结论扩张到 3D 空间非常方便

• 3D 空间的面

  

  $$\mathrm{\Pi }:a{x}_1+b{x}_2+c{x}_3+d=0⟶{\mathrm{\Pi }}^T=\left[\begin{array}{cccc}a& b& c& d\end{array}\right]$$

  变成矩阵形式

  $$\begin{array}{c}{\mathrm{\Pi }}^T\cdot x=\underset{\mathrm{\Pi }}{\underbrace{\left[\begin{array}{cccc}a& b& c& d\end{array}\right]}}\underset{x}{\underbrace{\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ 1\end{array}\right]}}=0\mathrm{\forall }x\in \mathrm{\Pi }\end{array}$$

  这种 $\mathrm{\Pi }$$\Pi$ 的表达式其实就是 $\mathrm{\Pi }$$\Pi$ 在齐次形式下的平面法向量，你从它和平面上点的点乘结果为 0 就可以看出来

• 无穷远点

  $$\begin{array}{c}{x}_{\mathrm{\infty }}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ 0\end{array}\right]\end{array}$$

• 无穷远面

  

  $$\begin{array}{c}{\mathrm{\Pi }}_{\mathrm{\infty }}=\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]\end{array}$$

 

 

 

2.2 消失

2.2.0 “无穷” 变换

对 无穷远点 / 线 分别进行 Perspective / Affine Transform

• 无穷远点

  点到点的变换，$p$$p$ 和 $p^{\prime }$$p'$ 通过 $H$$H$ 相互转换

  $$p^{\prime }=Hp$$

  使用一个非常简单的无穷远点

  $$\begin{array}{c}{p}_{\mathrm{\infty }}=\left[\begin{array}{c}1\\ 1\\ 0\end{array}\right]\end{array}$$

  • Perspective Transform

    $$\begin{array}{c}H=\left[\begin{array}{cc}R& t\\ v& 1\end{array}\right]⟶H{p}_{\mathrm{\infty }}=\left[\begin{array}{cc}R& t\\ v& 1\end{array}\right]\left[\begin{array}{c}1\\ 1\\ 0\end{array}\right]=\left[\begin{array}{c}{p}_x^{\prime }\\ p_y^{\prime }\\ p_z^{\prime }\end{array}\right]\end{array}$$

    此时变换后的点的 $p_z^{\prime }\ne 0$$p_z' \not= 0$

    因此：透视变换后无穷远点不再是无穷远点！

  • Affine Transform

    $$\begin{array}{c}H=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]⟶H{p}_{\mathrm{\infty }}=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}1\\ 1\\ 0\end{array}\right]=\left[\begin{array}{c}{p}_x^{\prime }\\ p_y^{\prime }\\ 0\end{array}\right]\end{array}$$

    此时变换后的点的 $p_z^{\prime }=0$$p_z'=0$

    因此：仿射变换后无穷远点仍然是无穷远点！

• 无穷远线

  线到线的变换

  已知 $x$$x$ 在直线 $l$$l$ 上，$x^{\prime }$$x'$ 在直线 $l^{\prime }$$l'$ 上，$x$$x$ 和 $x^{\prime }$$x'$ 通过 $H$$H$ 相互转换

  $$\begin{array}{rl}{x}^{T}l& =0\\ x^{\prime T}{l}^{\prime }& =0\\ x^{\prime }& =Hx\end{array}$$

  众所周知，$H{H}^{-1}=I$$HH^{-1} = I$，非常好用

  $$\begin{array}{rl}{x}^{T}l& =0\\ x^T{H}^T{H}^{-T}l& =0\\ (Hx{)}^T{H}^{-T}l& =0\\ x^{\prime T}{H}^{-T}l& =0\end{array}$$

  由于 $x^{\prime T}{l}^{\prime }=0$$x'^Tl' = 0$，所以

  $$l^{\prime }=H^{-T}l$$

• Perspective Transform

  $$\begin{array}{c}H=\left[\begin{array}{cc}R& t\\ v& 1\end{array}\right]⟶H^{-T}{l}_{\mathrm{\infty }}={\left[\begin{array}{cc}R& t\\ v& 1\end{array}\right]}^{-T}\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}{l}_x^{\prime }\\ l_y^{\prime }\\ l_z^{\prime }\end{array}\right]\end{array}$$

  透视变换后无穷远线不再是无穷远线！

• Affine Transform

  $$\begin{array}{c}H=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]⟶H^{-T}{l}_{\mathrm{\infty }}={\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]}^{-T}\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{cc}{A}^{-T}& 0\\ -t^T{A}^{-T}& 1\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]\end{array}$$

  仿射变换后无穷远线仍然是无穷远线！

以上结果其实很好理解：仿射变换会保留平行线的平行性，但是透视变换则不会

 

 

2.2.1 Vanishing Point 影消点

即世界坐标系中的无穷远点 $x_{\mathrm{\infty }}$$x_{\infin}$ 通过透视变换映射到 Image Plane 的投影点 $p_{\mathrm{\infty }}$$p_{\infin}$

本部分我们主要关注的透视变换为 Camera Matrix $M$$M$

影消点对应的是现实世界里的无穷远点，但它本身不是无穷远点

设定 $d=[a,b,c{]}^T$$d = [a, b, c]^T$ 为相机坐标系下平行线的方向

设定 世界坐标系 = 相机坐标系，因此投影所用的 Camera Matrix 为

方便起见，设定 $v=p_{\mathrm{\infty }}$$v = p_{\infin}$

那么影消点 $v$$v$ 与平行线方向 $d$$d$ 的关系为

两种写法都可以

 

 

2.2.2 Vanishing Line 影消线

即世界坐标系中的无穷远线 $l_{\mathrm{\infty }}$$l_{\infin}$ 通过透视变换 $H_P$$H_P$ 映射到 Image Plane 的投影线 $l_h$$l_{h}$

本部分我们主要关注的透视变换为 Camera Matrix $M$$M$

影消线对应的是现实世界里的无穷远线，但它本身不是无穷远线

下图中黄色的线为影消线

除了Image Plane 上的影消线 $l_h$$l_h$，上图中还有一个以橙色标记出的平面 $\mathrm{\Pi }$$\Pi$，这个平面穿过影消线以及相机光心 $C$$C$

那么影消线 $l_h$$l_h$ 与穿过影消线的平面 $\mathrm{\Pi }$$\Pi$ 的关系如下

三维世界中 $\mathrm{\Pi }$$\Pi$ 上的点记为 $P$$P$, 设定 世界坐标系 = 相机坐标系，Camera Matrix 记为 $M$$M$

二维 Image Plane 中 $l_h$$l_h$ 上的点记为 $p$$p$

与之前的 “点在面上” 公式对比可得

与 $\mathrm{\Pi }$$\Pi$ 的定义式对比可知此时 $d=0$$d=0$

$d$$d$ 在平面法向量里代表 offset，此平面过相机光心，那么 offset = 0 就非常合理了

定义平面法向量 $\mathrm{\Pi }$$\Pi$ 的方向为 $n$$n$（如上图），则有

 

2.2.3 Summary

• Image Plane 上影消点 $v$$v$ 与对应三维世界里平行线方向 $d$$d$ 的关系为

  $$v=Kd⟶d=\frac{K^{-1}v}{\Vert K^{-1}v\Vert }$$

• Image Plane 上影消线 $l_h$$l_h$ 与对应三维世界里穿过相机光心的平面法向量方向 $n$$n$ 的关系为

  $$n=l_h^{T}K$$

Remainder: $K$$K$ 为相机内参

 

 

 

2.3 单视重构

2.3.1 两组平行线的夹角

下图中 $v$$v$ 为影消点，$x_{\mathrm{\infty }}$$x_{\infin}$ 为影消点对应的无穷远点，$d$$d$ 为无穷远点对应的平行线方向，$C$$C$ 为相机光心

求这两组平行线的夹角 $\theta$$\theta$ ？

• 已知

  平行线方向可表示为 (see 2.2.3)

  $$d=\frac{K^{-1}v}{\Vert K^{-1}v\Vert }$$

  两个矩阵点乘可表示为 (see 3.3.1)

  $$a\cdot b=\left|a\right|\left|b\right|\cos \left(\theta \right)$$

• 求解

  由于 $d$$d$ 本身就是单位向量，所以不再需要分母上的模了

  $$\begin{array}{rl}\cos \left(\theta \right)& =\frac{d_1\cdot d_2}{\left|d_1\right|\left|d_2\right|}\\ \\ & =d_1\cdot d_2\\ \\ & =\frac{K^{-1}{v}_1}{\Vert K^{-1}{v}_1\Vert }\cdot \frac{K^{-1}{v}_2}{\Vert K^{-1}{v}_2\Vert }\\ \\ & =\frac{(K^{-1}{v}_1{)}^T(K^{-1}{v}_2)}{\sqrt{(K^{-1}{v}_1{)}^T(K^{-1}{v}_1)}\sqrt{(K^{-1}{v}_2{)}^T(K^{-1}{v}_2)}}\end{array}$$

  设定 $\omega =K^{-T}{K}^{-1}=(K{K}^T{)}^{-1}$$\omega = K^{-T}K^{-1} = (KK^T)^{-1}$，展开整理可得

  $$\begin{array}{rl}\cos \left(\theta \right)& =\frac{(K^{-1}{v}_1{)}^T(K^{-1}{v}_2)}{\sqrt{(K^{-1}{v}_1{)}^T(K^{-1}{v}_1)}\sqrt{(K^{-1}{v}_2{)}^T(K^{-1}{v}_2)}}\\ \\ & =\frac{v_1^T\omega v_2}{\sqrt{v_1^T\omega v_1}\sqrt{v_2^T\omega v_2}}\end{array}$$

以下是一些重要的，能利用的特性

• 夹角 $\theta$$\theta$ 的性质

  若 $\theta =90\mathrm{°}$$\theta = 90\degree$

  $$\cos \left(\theta \right)=0⟶v_1^T\omega v_2=0$$

• 公式 $\omega$$\omega$ 的性质

  $$\begin{array}{c}\omega =(K{K}^T{)}^{-1}K=\left[\begin{array}{ccc}{f}_x& f_x\cot \left(\theta \right)& c_x\\ 0& f_y/\sin \left(\theta \right)& c_y\\ 0& 0& 1\end{array}\right]\end{array}$$

  以下性质与相机 Intrinsic Matrix $K$$K$ 相关

  1. $\omega$$\omega$ 为对称矩阵

     $$\begin{array}{c}\omega =\left[\begin{array}{ccc}{\omega }_1& {\omega }_2& {\omega }_4\\ {\omega }_2& {\omega }_3& {\omega }_5\\ {\omega }_4& {\omega }_5& {\omega }_6\end{array}\right]\end{array}$$

  2. 若 Image Plane 是零倾斜，则 ${\omega }_2=0$$\omega_2 = 0$

     即 $\theta =90\mathrm{°}$$\theta = 90\degree$

  3. 若 Image Plane 是正方形像素，则 ${\omega }_2=0$$\omega_2 = 0$，${\omega }_1={\omega }_3$$\omega_1 = \omega_3$

     即 $\theta =90\mathrm{°}$$\theta = 90\degree$ 且 $f_x=f_y$$f_x = f_y$

  4. $\omega$$\omega$ 有 5 个自由度

     因为构成 $\omega$$\omega$ 的 $K$$K$ 一共只有 5 DOF

 

 

2.3.2 单视图场景恢复

• Step 1: 求 Intrinsic Matrix

  从上图可以找出三组相互垂直 (即夹角 $\theta =90\mathrm{°}$$\theta = 90\degree$) 的平行线 $v_1,v_2,v_3$$v_1, v_2, v_3$

  

  依据夹角 $\theta$$\theta$ 的性质一共可以得到三组公式

  $$\{\begin{array}{l}{v}_1^T\omega v_2=0\\ \\ v_2^T\omega v_3=0\\ \\ v_1^T\omega v_3=0\end{array}$$

  但是 Intrinsic Matrix 一共有 5 DOF，光给 3 个公式作为约束是不够的！

  所以额外增加两个假设

  1. Image Plane 零倾斜

  2. Image Plane 为正方形像素

  追加两个新的约束条件

  $${\omega }_2=0{\omega }_1={\omega }_3$$

  这样一来 $\omega$$\omega$ 就变成只有 3 DOF 了！

  $$\begin{array}{c}\omega =\left[\begin{array}{ccc}{\omega }_3& 0& {\omega }_4\\ 0& {\omega }_3& {\omega }_5\\ {\omega }_4& {\omega }_5& {\omega }_6\end{array}\right]\end{array}$$

  可以考虑整体除一下 ${\omega }_6$$\omega_6$，然后就只有 3 个未知量了，反正对 $\omega$$\omega$ 做 scaling 不会影响其效果

  得到 $\omega$$\omega$ 之后就可以分解，然后得到 Intrinsic Matrix $K$$K$

  $$\omega =(K{K}^T{)}^{-1}$$

• Step 2: 恢复场景平面

  现在有 Intrinisc Matrix $K$$K$，有 Vanishing Line $l_h$$l_h$

  取两组同一平面上的平行线的影消点 Vanishing Point，就能找到影消线

  

  那么找到相机参考系中的三个场景平面法向量方向 $n$$n$ 就很好求了

  $$n=K^T{l}_h$$

• Result

  最后恢复出来一个 可以拖动查看的 3D 平面场景，下图是其中一个视角

  

 

 

2.3.3 单视重构的弊端

需要很多先验信息：

• 手动选择 Vanishing Lines / Points

• 手动判断 点/线/面 对应关系

• 难以找出以上信息的实体恢复不了

下图中，红框和绿框内的平面可以恢复，但是黄框内的人是恢复不出来的！

 

 

 

 

 

3. 补充材料

3.1 最小二乘法 Least Squares

The method to solve problems in the form

3.1.1 线性方程组

已知线性方程组

转化成 matrix form

若此时矩阵 $A$$A$ 列满秩，且 $p>q$$p > q$ 为超定方程组，则此时方程数 > 未知量数，无解

此时可求满足方程组条件的最小二乘解

[解法]：

1. SVD 奇异值分解 $A=UD{V}^T$$A = UDV^T$

2. 定义并计算如下内容

   • $\tilde{y}=U^{T}y$$\tilde{y} = U^Ty$

   • $b⟶b_i={\tilde{y}}_i/d_i$$b \longrightarrow b_i = \tilde{y}_i / d_i$

     $d_i$$d_i$ 为 Diagonal Matrix $D$$D$ 上的第 $i$$i$ 个元素

3. $x^{\ast }=Vb$$x^* = Vb$

 

 

3.1.2 齐次线性方程组

已知齐次线性方程组

转化成 matrix form

若此时矩阵 $A$$A$ 列满秩，且 $p>q$$p > q$ 为超定方程组，则此时方程数 > 未知量数，除 ”0解“ 以外无解

此时可求满足方程组条件的最小二乘解

为何设定 $x$$x$ 的 magnitude = 1？

well，反正 $x$$x$ 的scale 多大多小都不会影响结果为 0，而设定 magnitude = 1 会非常方便

那就这么设定叭 ()

[解法]：

1. SVD 奇异值分解 $A=UD{V}^T$$A = UDV^T$

2. $x^{\ast }$$x^*$ 为 $V$$V$ 的最后一列

 

 

 

3.2 Projection Geometry 投影变换

3.2.1 仿射变换 Affine Transform

Transformation Matrix 的最后一行保持 $[0,1]$$[0, 1]$

不变量：平行线之平行性，平行线之长度比，各区域面积比

自由度：6 DOF

 

 

3.2.2 透视变换 Perspective Transform

Transformation Matrix 的 0 部分变成一个全新的参数组 $v$$v$

不变量：4个共线点的 cross-ratio

自由度：8 DOF

 

 

 

3.3 矩阵点乘 & 叉乘

很难绷，但是我还是写在这里吧

 

3.3.1 矩阵点乘

Given

二者点乘为

或者用几何上的定义

其值相当于：

向量 $a$$a$ 于向量 $b$$b$ 上之投影的长度 $\times$$\times$ 向量 $b$$b$ 的长度

 

 

3.3.2 矩阵叉乘

Given

二者叉乘为

或者也可以表示为