OpenCV:如何使用findHomography()/ findFundamental()和RANSAC获取内部点

Question

OpenCV本身不提供RANSAC功能,或者至少以这种形式提供,您可以调用它并完成它(例如cv::ransac(...)).能够使用RANSAC的所有函数/方法都有一个启用它的标志.然而,如果您实际上想要在估算单应性/基本矩阵之后使用内部RANSAC计算其他内容,例如在Octave或类似软件/点库中创建一个好的绘图,则应用其他算法并不总是有用.剩余的过滤匹配等.

在匹配两个图像之后,获得匹配的矢量.与此同时,我们当然在匹配过程中使用了两组关键点(每个图像一个).使用匹配和关键点,我们创建两个点向量(例如cv::Point2f points)并将它们传递给findHomography().从这篇文章和这篇文章中我发现了如何使用掩码标记内部函数,我们传递给该函数.掩码内的每一行都与内部/异常值有关.但是我无法弄清楚如何使用我的两组点中的行索引信息.查看OpenCV的源代码并没有让我太过分.In findFundamental()(类似于findHomography()它的签名和掩码部分)它们使用compressPoints(),它似乎以某种方式将我们作为输入的两个集合(源和目标点)合并为一个.在测试以确定掩模的性质时,我尝试了2组匹配点(转换cv::Keypoints为cv::Point2f- 标准程序).每组包含300分,所以总共有600分.返回的掩码包含300行(对于此主题,值并不重要).

编辑:在写这篇文章时,我发现了答案(见下文),但决定发布这个问题,以防有人需要尽快并以紧凑的形式提供这些信息.请注意,我们仍然需要一个支持RANSAC的OpenCV功能.因此,如果您有一组点但无意计算单应性或基本矩阵,这显然不是方法,我敢说我无法在OpenCV的API中找到任何有用的东西,可以帮助避免这个障碍,因此您需要使用外部图书馆.

Answer 1

解决方案实际上非常简单.我们知道,如果我们有一个内部或异常值,我们掩码中的每一行都会提供信息.但是我们有两组点作为输入,那么包含单个值的行究竟是如何表示两个点的呢？这种索引的本质出现在我脑海中,同时思考这两组点实际上是如何出现在findHomography()中的(在我的情况下,我是在计算两个图像之间的单应性).两个集合中的点数相等,因为它们是从我们的图像对之间的匹配中提取的简单事实.这意味着我们的掩码中的行是两个集合中的点的实际索引,也是两个图像的匹配向量中的索引.我已成功设法基于此手动引用一小部分匹配点,结果如预期.重要的是,不要改变匹配的顺序以及使用每个中引用的关键点从中提取的2D点cv::DMatch.下面您可以看到一对内部的简单示例.

for(int i = 0; i < matchesObjectScene.size(); ++i)
{
   // extract points from keypoints based on matches
   pointsObject.push_back(keypointsObject.at(matchesObjectScene.at(i).queryIdx).pt);
   pointsScene.push_back(keypointsScene.at(matchesObjectScene.at(i).trainIdx).pt);
}
// compute homography using RANSAC
cv::Mat mask;
cv::Mat H = cv::findHomography(pointsObject, pointsScene, CV_RANSAC, ransacThreshold, mask);

在上面的例子中,如果我们打印一些inlier

int maskRow = 10;
std::cout << "POINTS: object(" << pointsObject.at(maskRow).x << "," << pointsObject.at(maskRow).y << ") - scene(" << pointsScene.at(maskRow).x << "," << pointsScene.at(maskRow).y << ")" << std::endl;

然后再次使用我们的关键点(也可以使用提取的2D点完成)

std::cout << "POINTS (via match-set): object(" << keypointsObject.at(matchesCurrentObject.at(maskRow).queryIdx).pt.x << "," << keypointsObject.at(matchesCurrentObject.at(maskRow).queryIdx).pt.y << ") - scene(" << keypointsScene.at(matchesCurrentObject.at(maskRow).trainIdx).pt.x << "," << keypointsScene.at(matchesCurrentObject.at(maskRow).trainIdx).pt.y << ")" << std::endl;

我们实际得到相同的输出:

POINTS: object(462,199) - sscene(485,49)
POINTS (via match-set): object(462,199) - scene(485,49)

要获得实际的inlier,我们只需检查掩码中的当前行是否实际包含0或非零值:

if((unsigned int)mask.at<uchar>(maskRow))
  // store match or keypoints or points somewhere where you can access them later