基本矩阵的分解：验证 R 和 T 的四种可能解决方案

Question

我想使用 OpenCV 进行一些运动结构。到目前为止，我已经有了基本矩阵和基本矩阵。有了基本矩阵，我正在做 SVD 来获得 R 和 T。

我的问题是，我有 2 个可能的 R 解决方案和 2 个可能的 T 解决方案，这导致整体姿势有 4 个解决方案，其中 4 个解决方案中只有一个是正确的。我怎样才能找到正确的解决方案？

这是我的代码：

private void calculateRT(Mat E, Mat R, Mat T){

    Mat w = new Mat();
    Mat u = new Mat();
    Mat vt = new Mat();

    Mat diag = new Mat(3,3,CvType.CV_64FC1);
    double[] diagVal = {1,0,0,0,1,0,0,0,1};
    diag.put(0, 0, diagVal);

    Mat newE = new Mat(3,3,CvType.CV_64FC1);

    Core.SVDecomp(E, w, u, vt, Core.DECOMP_SVD); 

    Core.gemm(u, diag, 1, vt, 1, newE);

    Core.SVDecomp(newE, w, u, vt, Core.DECOMP_SVD);

    publishProgress("U: " + u.dump());
    publishProgress("W: " + w.dump());
    publishProgress("vt:" + vt.dump());

    double[] W_Values = {0,-1,0,1,0,0,0,0,1};
    Mat W = new Mat(new Size(3,3), CvType.CV_64FC1);
    W.put(0, 0, W_Values);

    double[] Wt_values = {0,1,0-1,0,0,0,0,1};
    Mat Wt = new Mat(new Size(3,3), CvType.CV_64FC1);
    Wt.put(0,0,Wt_values);


    Mat R1 = new Mat();
    Mat R2 = new Mat();

    // u * W * vt = R 
    Core.gemm(u, Wt, 1, vt, 1, R2);
    Core.gemm(u, W, 1, vt, 1, R1);

    publishProgress("R: " + R.dump());


    // +- T (2 possible solutions for T)
    Mat T1 = new Mat();
    Mat T2 = new Mat();
    // T = u.t
    u.col(2).copyTo(T1);

    publishProgress("T : " + T.dump());

    Core.multiply(T, new Scalar(-1.0, -1.0, -1.0), T2);

    // TODO Here I have to find the correct combination for R1 R2 and T1 T2

}

Answer 1

从两个相机的基本矩阵重建它们的相对欧几里得姿态时，存在理论上的模糊性。这种模糊性与以下事实有关：给定图像中的 2D 点，经典的针孔相机模型无法判断相应的 3D 点是在相机前面还是在相机后面。为了消除这种歧义，您需要知道图像中的一个点对应关系：因为这两个 2D 点被假定为位于两个摄像机前面的单个 3D 点的投影（因为它在两个图像中都可见），这将有助于选择正确的 R 和 T。

\n\n

为此，以下博士论文的 \xc2\xa7 6.1.4 (p47) 中解释了一种方法：“三焦张量的几何、约束和计算”，作者：C.Ressl ( PDF )。下面给出该方法的概要。我将用 x1 和 x2 表示两个相应的 2D 点，用 K1 和 K2 表示两个相机矩阵，用 E12 表示基本矩阵。

\n\n

我。计算基本矩阵 的 SVD E12 = U * S * V\'。如果det(U) < 0设置U = -U. 如果det(V) < 0设置V = -V.

\n\n

二. 定义W = [0,-1,0; 1,0,0; 0,0,1],R2 = U * W * V\'和T2 = third column of U

\n\n

三. 定义M = [ R2\'*T2 ]x,X1 = M * inv(K1) * x1和X2 = M * R2\' * inv(K2) * x2

\n\n

四. 如果X1(3) * X2(3) < 0，设置R2 = U * W\' * V\'并重新计算M和X1

\n\n

v. 如果X1(3) < 0设置T2 = -T2

\n\n

六. 定义P1_E = K1 * [ I | 0 ]和P2_E = K2 * [ R2 | T2 ]

\n\n

该符号\'表示转置和步骤 iii 中使用的符号[.]x。对应于斜对称算子。在 3x1 向量上应用斜对称运算符会产生e = [e_1; e_2; e_3]以下结果（请参阅维基百科关于叉积的文章）：

\n\n

[e]x = [0,-e_3,e_2; e_3,0,-e_1; -e_2,e_1,0]\n

\n\n

最后，请注意， 的范数T2始终为 1，因为它是正交矩阵的列之一。这意味着您将无法恢复两个摄像机之间的真实距离。为此，您需要知道场景中两点之间的真实距离，并考虑到该距离来计算摄像机之间的真实距离。

\n