OpenCV - 从2D获取3D坐标

Question

我看到很多人都会问类似的问题,但我无法完全匹配我的问题

我有标记,我在图像坐标中得到它(x,y).我可以得到变换矩阵和旋转矩阵.现在我如何获得(x,y,z)坐标？

(如果有人可以告诉我如何解决我的问题或重定向,我将不胜感激).

编辑:我使用Alvar库,我得到标记坐标,我也可以得到它的姿势(所以我也有旋转矩阵3x3,翻译矩阵3x4或4x4)

编辑2:我搜索了更多,我研究了允许我获取旋转和平移矩阵的方法.好吧,我说我可以得到两个矩阵取决于输入参数.但是如果我将参数设置为3x3矩阵,我将只有旋转矩阵,但如果我放置3x4或4x4矩阵,我会得到:

• 为4x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |
  | 0 0 0 1 |

• 为3x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |

Answer 1

假设您在图像平面上以像素为单位有一个图像点: cv::Vec2d imagePoint(u, v);

首先,您应该在摄像机坐标系中转换此点.假设您的相机的内在参数(相机矩阵和镜头失真系数)已知,您可以计算(u', v')观察到的理想坐标imagePoint:

u'' = (u - cx)/fx
v'' = (v - cy)/fy
(u', v') = undistort(u'', v'', distCoeffs)

凡cx和cy是主要的点的坐标,它通常围绕图像中心,此外fx并fy有以像素为单位的焦距(你可以从相机矩阵让他们).并distCoeffs包含径向/切向失真系数,这也是结果cv::calibrateCamera(...).

无论如何,你不应该(u', v')手动计算,因为cv::undistortPoints(...)通过调用没有或默认R和P参数的函数来做到这一点.

点imagePoint在摄像机坐标系如下:

std::vector<cv::Vec2d> imagePts;
std::vector<cv::Vec2d> idealPts;
imagePts.push_back(imagePoint);

cv::undistortPoints(imagePts, idealPts, cameraMatrix, distCoeffs);

const double lambda = 1.0;
cv::Mat cameraPt(3, 1, CV_64F);
cameraPt.at<double>(0) = idealPts[0][0] * lambda;
cameraPt.at<double>(1) = idealPts[1][1] * lambda;
cameraPt.at<double>(2) = lambda;

此时,您需要相机到世界变换矩阵来表示cameraPt世界坐标系:

cv::Mat camToWorld = cv::Mat::eye(4, 4, CV_64FC1);
// Fill camToWorld with [R^T|-R^T*t]
// ...

cameraPt.push_back(1.0);
cv::Mat worldPt = camToWorld * cameraPt;

到目前为止,worldPt定义了一个与世界坐标系对应的光线imagePoint.也就是说,光线/线的每个点都可以投射到相同的位置imagePoint,因此世界上有无数个点属于同一个点imagePoint.但是,例如使用Möller-Trumbore射线三角交叉算法,您可以确定世界平面上的一个三维点.