OpenCV:旋转/平移向量到OpenGL模型视图矩阵

Question

我正在尝试使用OpenCV来做一些基本的增强现实.我正在采用的方法是findChessboardCorners从相机图像中获取一组点.然后,我沿着z = 0平面创建一个3D四边形,并用于solvePnP在成像点和平面点之间获得单应性.从那以后,我想我应该能够设置一个模型视图矩阵,这将允许我在图像顶部渲染一个具有正确姿势的立方体.

所述文档为solvePnP说,它输出一个旋转矢量"即(连同[平移向量])带来从模型点坐标系统到摄像机坐标系统".我认为这与我想要的相反; 由于我的四边形在z = 0的平面上,我想要一个模型视图矩阵,它将该四边形转换为适当的3D平面.

我认为通过以相反的顺序执行相反的旋转和平移,我可以计算出正确的模型视图矩阵,但这似乎不起作用.虽然渲染的对象(立方体)确实随着摄像机图像一起移动,并且看起来在翻译时大致正确,但旋转根本不起作用; 当它应该仅在一个轴上旋转时,它在多个轴上,有时在错误的方向上旋转.这是我到目前为止所做的事情:

std::vector<Point2f> corners;
bool found = findChessboardCorners(*_imageBuffer, cv::Size(5,4), corners,
                                      CV_CALIB_CB_FILTER_QUADS |
                                      CV_CALIB_CB_FAST_CHECK);
if(found)
{
  drawChessboardCorners(*_imageBuffer, cv::Size(6, 5), corners, found);

  std::vector<double> distortionCoefficients(5);  // camera distortion
  distortionCoefficients[0] = 0.070969;
  distortionCoefficients[1] = 0.777647;
  distortionCoefficients[2] = -0.009131;
  distortionCoefficients[3] = -0.013867;
  distortionCoefficients[4] = -5.141519;

  // Since the image was resized, we need to scale the found corner points
  float sw = _width / SMALL_WIDTH;
  float sh = _height / SMALL_HEIGHT;
  std::vector<Point2f> board_verts;
  board_verts.push_back(Point2f(corners[0].x * sw, corners[0].y * sh));
  board_verts.push_back(Point2f(corners[15].x * sw, corners[15].y * sh));
  board_verts.push_back(Point2f(corners[19].x * sw, corners[19].y * sh));
  board_verts.push_back(Point2f(corners[4].x * sw, corners[4].y * sh));
  Mat boardMat(board_verts);

  std::vector<Point3f> square_verts;
  square_verts.push_back(Point3f(-1, 1, 0));                              
  square_verts.push_back(Point3f(-1, -1, 0));
  square_verts.push_back(Point3f(1, -1, 0));
  square_verts.push_back(Point3f(1, 1, 0));
  Mat squareMat(square_verts);

  // Transform the camera's intrinsic parameters into an OpenGL camera matrix
  glMatrixMode(GL_PROJECTION);
  glLoadIdentity();

  // Camera parameters
  double f_x = 786.42938232; // Focal length in x axis
  double f_y = 786.42938232; // Focal length in y axis (usually the same?)
  double c_x = 217.01358032; // Camera primary point x
  double c_y = 311.25384521; // Camera primary point y


  cv::Mat cameraMatrix(3,3,CV_32FC1);
  cameraMatrix.at<float>(0,0) = f_x;
  cameraMatrix.at<float>(0,1) = 0.0;
  cameraMatrix.at<float>(0,2) = c_x;
  cameraMatrix.at<float>(1,0) = 0.0;
  cameraMatrix.at<float>(1,1) = f_y;
  cameraMatrix.at<float>(1,2) = c_y;
  cameraMatrix.at<float>(2,0) = 0.0;
  cameraMatrix.at<float>(2,1) = 0.0;
  cameraMatrix.at<float>(2,2) = 1.0;

  Mat rvec(3, 1, CV_32F), tvec(3, 1, CV_32F);
  solvePnP(squareMat, boardMat, cameraMatrix, distortionCoefficients, 
               rvec, tvec);

  _rv[0] = rvec.at<double>(0, 0);
  _rv[1] = rvec.at<double>(1, 0);
  _rv[2] = rvec.at<double>(2, 0);
  _tv[0] = tvec.at<double>(0, 0);
  _tv[1] = tvec.at<double>(1, 0);
  _tv[2] = tvec.at<double>(2, 0);
}

然后在绘图代码中......

GLKMatrix4 modelViewMatrix = GLKMatrix4MakeTranslation(0.0f, 0.0f, 0.0f);
modelViewMatrix = GLKMatrix4Translate(modelViewMatrix, -tv[1], -tv[0], -tv[2]);
modelViewMatrix = GLKMatrix4Rotate(modelViewMatrix, -rv[0], 1.0f, 0.0f, 0.0f);
modelViewMatrix = GLKMatrix4Rotate(modelViewMatrix, -rv[1], 0.0f, 1.0f, 0.0f);
modelViewMatrix = GLKMatrix4Rotate(modelViewMatrix, -rv[2], 0.0f, 0.0f, 1.0f);

我正在渲染的顶点创建一个围绕原点的单位长度的立方体(即沿着每条边从-0.5到0.5).我知道OpenGL翻译函数以"逆序"执行变换,所以上面应该沿着z,y,然后x轴,然后翻译它.然而,似乎它首先被翻译然后轮换,所以也许Apple的GLKMatrix4作品有所不同？

这个问题看起来与我的非常相似,特别是coder9的答案似乎可能或多或少都是我正在寻找的.但是,我尝试了它并将结果与​​我的方法进行了比较,我在两种情况下得到的矩阵是相同的.我觉得这个答案是正确的,但我错过了一些关键的细节.

Answer 1

您必须确保轴面向正确的方向。特别是，在 OpenGL 和 OpenCV 中，y 轴和 z 轴面向不同的方向，以确保 xyz 基础是直接的。您可以在此博文中找到一些信息和代码（使用 iPad 相机）。

-- 编辑 -- 好吧。不幸的是，我使用这些资源以相反的方式（opengl ---> opencv）来测试一些算法。我的主要问题是图像的行顺序在 OpenGL 和 OpenCV 之间颠倒了（也许这有帮助）。

在模拟相机时，我遇到了相同的投影矩阵，可以在此处和广义投影矩阵论文中找到。博文评论中引用的这篇论文也展示了计算机视觉和 OpenGL 投影之间的一些联系。