对极约束 | Epipolar Constraint

1 定义

对极约束满足如下公式：
\(\boldsymbol{x}_{2}^{T} \boldsymbol{E} \boldsymbol{x}_{1}=\boldsymbol{p}_{2}^{T} \boldsymbol{F} \boldsymbol{p}_{1}=0\tag{1}\)
其中：

• \(\boldsymbol{p}_1\) 和 \(\boldsymbol{p}_2\) 代表像素上点的位置。
• \(\boldsymbol{x}_{1}=\boldsymbol{K}^{-1} \boldsymbol{p}_{1}\) 和 \(\boldsymbol{x}_{2}=\boldsymbol{K}^{-1} \boldsymbol{p}_{2}\) 代表像素点对应的归一化平面上点位置。
• \(\boldsymbol{E}=\boldsymbol{t}^{\wedge} \boldsymbol{R}\) 代表本质矩阵 (Essential Matrix)。
• \(\boldsymbol{F}=\boldsymbol{K}^{-T} \boldsymbol{E} \boldsymbol{K}^{-1}\) 代表基础矩阵 (Fundamental Matrix)。

2 证明

如图所示设空间中的三维点 \(\boldsymbol{P}=[X, Y, Z]^{T}\)，根据真空相机投影模型：
\(Z\left[\begin{array}{l}
u \\
v \\
1
\end{array}\right]=\boldsymbol{K}\left(\boldsymbol{R} \boldsymbol{P}+\boldsymbol{t}\right)=\boldsymbol{K} \boldsymbol{T} \boldsymbol{P}\tag{2}\)
在两幅图像中像素点的位置为：
\(s_{1} \boldsymbol{p}_{1}=\boldsymbol{K} \boldsymbol{P}, \quad s_{2} \boldsymbol{p}_{2}=\boldsymbol{K}(\boldsymbol{R} \boldsymbol{P}+\boldsymbol{t})\tag{3}\)
由于齐次坐标乘以非零常量后表示同一个投影点（参见 补充说明），如果使用齐次坐标,我们也可以把上式写成在乘以非零常数下成立的（up to a scale）等式：
\(\boldsymbol{p}_{1}=\boldsymbol{K} \boldsymbol{P}, \quad \boldsymbol{p}_{2}=\boldsymbol{K}(\boldsymbol{R} \boldsymbol{P}+\boldsymbol{t})\tag{4}\)

取：
\(\boldsymbol{x}_{1}=\boldsymbol{K}^{-1} \boldsymbol{p}_{1}, \quad \boldsymbol{x}_{2}=\boldsymbol{K}^{-1} \boldsymbol{p}_{2}\tag{5}\)
将公式 (4) 带入后得到：
\(\boldsymbol{x}_{2}=\boldsymbol{R} \boldsymbol{x}_{1}+\boldsymbol{t}\tag{6}\)
两边同时左乘 \(\boldsymbol{t}^{\wedge}\) 得到：
\(\boldsymbol{t}^{\wedge} \boldsymbol{x}_{2}=\boldsymbol{t}^{\wedge} \boldsymbol{R} \boldsymbol{x}_{1}\tag{7}\)
两边同时左乘 \(\boldsymbol{x}_{2}^{\wedge}\) 得到：
\(\boldsymbol{x}_{2}^{T} \boldsymbol{t}^{\wedge} \boldsymbol{x}_{2}=\boldsymbol{x}_{2}^{T} \boldsymbol{t}^{\wedge} \boldsymbol{R} \boldsymbol{x}_{1}\tag{8}\)
由于 \(\boldsymbol{t}^{\wedge} \boldsymbol{x}_{2}\) 是一个和 \(\boldsymbol{t}\) 和 \(\boldsymbol{x}_{2}\) 都垂直的向量，二者内积为 0，因此得到：
\(\boldsymbol{x}_{2}^{T} \boldsymbol{t}^{\wedge} \boldsymbol{R} \boldsymbol{x}_{1}=0\tag{9}\)
重新带入公式 (5) 得到：
\(\boldsymbol{p}_{2}^{T} \boldsymbol{K}^{-T} \boldsymbol{t}^{\wedge} \boldsymbol{R} \boldsymbol{K}^{-1} \boldsymbol{p}_{1}=0\tag{10}\)

补充说明

关于“齐次坐标乘以非零常量后表示同一个投影点”说明：

如上图所示，点 \(P_1\)、\(P_2\)、\(P_3\) 都有同一个投影点。投影方程写成齐次坐标形式：
\(Z\left[\begin{array}{l}
u \\
v \\
1
\end{array}\right]=\left[\begin{array}{ccc}
f_{x} & 0 & c_{x} \\
0 & f_{y} & c_{y} \\
0 & 0 & 1
\end{array}\right]\left[\begin{array}{l}
X \\
Y \\
Z
\end{array}\right]\tag{11}\)

则有：
\(\begin{aligned}
Z_1 * p = K * P_1 \\
Z_2 * p = K * P_2 \\
Z_3 * p = K * P_3
\end{aligned}\tag{12}\)

则 \(p = (K * P_1 ) / Z_1 = (K * P_2 ) / Z_2 = (K * P_3 ) / Z_3\)， 显然齐次坐标 \(p = (u, v, 1)^{T}\) 乘以非零常数后依然表示同一个投影点，只不过空间点 \(P\) 位置变了，但都在 \(\overrightarrow{Op}\) 这条射线上，齐次坐标 \(p\) 乘以不同的非零常数表示不同距离的空间点在像素平面的投影，就是这条射线上的点均投影到 \(p\) 点。

参考文献

[1] 《视觉SLAM十四讲》
[2] https://www.cxyzjd.com/article/Zkangsen/100010742