使用对极几何放大 3D 三角测量

Question

我目前正在开展一个项目，在该项目中我必须估计使用单目相机检测到的 2D 兴趣点的 3D 坐标。

更准确地说，我输入了一个图像序列（已校准），并且需要在接收新图像时对左侧（前一个）图像和右侧当前图像之间的点进行三角测量以获得 3D 点。

为此，我正在执行以下步骤：

1. 提取当前图像中的关键点
2. 建立当前图像和先前图像之间的对应关系
3. 使用 RANSAC 和高度点算法计算基本矩阵 E
4. 从 E 中提取变换矩阵 R 和平移向量 T
5. 通过正交回归使用三角测量计算 3D 点

当我将它们重新投影到图像上时，生成的 3D 点不正确。但是，我已经读过三角点被定义为最多不确定的比例因子。

所以我的问题是：在这种情况下，“达到规模”是什么意思？在场景的世界坐标系中获得真实 3D 点的解决方案是什么？

我将不胜感激！

Answer 1

您可能存在错误或基本矩阵估计不准确。未知的比例因子不能导致您看到的重建错误。无论全局尺度如何，将根据良好匹配和有效基本矩阵估计的 3d 点投影到图像对上的结果应该是一致的。

在这种情况下，“按比例”的含义是，即使使用本质校准的相机，如果您将场景替换为所有物体都更大或更小相同量的场景，则估计基本矩阵的标准方法也会产生相同的结果。您可以消除这种歧义

• 在此之前，通过使用固定比例的方法来校准相机的外部参数，即一个相机相对于另一个相机的位置和方向。例如，使用已知形状和尺寸的校准物体。
• 事后，在立体重建时。例如，通过在场景中识别已知物理尺寸的对象，并强制计算的 3D 重建与该尺寸相匹配。