使用FLANN匹配从OpenCV SIFT列表中识别图像

Question

应用程序的要点是从已经设置的图像列表中识别图像.图像列表已将SIFT描述符提取并保存在文件中.这里没什么有趣的:

std::vector<cv::KeyPoint> detectedKeypoints;
cv::Mat objectDescriptors;

// Extract data
cv::SIFT sift;
sift.detect(image, detectedKeypoints);
sift.compute(image, detectedKeypoints, objectDescriptors);

// Save the file
cv::FileStorage fs(file, cv::FileStorage::WRITE);
fs << "descriptors" << objectDescriptors;
fs << "keypoints" << detectedKeypoints;
fs.release();

然后设备拍照.SIFT描述符以相同的方式提取.现在的想法是将描述符与文件中的描述符进行比较.我正在使用OpenCV的FLANN匹配器.我试图通过图像来量化相似性.经过整个清单后,我应该有最好的匹配.

const cv::Ptr<cv::flann::IndexParams>& indexParams = new cv::flann::KDTreeIndexParams(1);
const cv::Ptr<cv::flann::SearchParams>& searchParams = new cv::flann::SearchParams(64);

// Match using Flann
cv::Mat indexMat;
cv::FlannBasedMatcher matcher(indexParams, searchParams);
std::vector< cv::DMatch > matches;
matcher.match(objectDescriptors, readDescriptors, matches);

匹配后我明白我得到了特征向量之间最近找到的距离列表.我找到了最小距离,并且使用它我可以计算"好的匹配",甚至可以获得相应点的列表:

// Count the number of mathes where the distance is less than 2 * min_dist
int goodCount = 0;
for (int i = 0; i < objectDescriptors.rows; i++)
{
    if (matches[i].distance <  2 * min_dist)
    {
        ++goodCount;
        // Save the points for the homography calculation
        obj.push_back(detectedKeypoints[matches[i].queryIdx].pt);
        scene.push_back(readKeypoints[matches[i].trainIdx].pt);
    }
}

我正在展示代码的简单部分只是为了让这更容易理解,我知道其中一些不需要在这里.

继续,我希望简单地计算这样的好比赛的数量就足够了,但事实证明大多只是指向具有最多描述符的图像.在此之后我尝试的是计算单应性.目的是计算它,看它是否是一个有效的同性恋.希望是一个很好的匹配,只有一个很好的匹配,将有一个良好的转换的单应性.创建单应性是在obj和场景上使用cv :: findHomography完成的,它们是std :: vector <cv :: Point2f>.我使用在线发现的一些代码检查了单应性的有效性:

bool niceHomography(cv::Mat H)
{
    std::cout << H << std::endl;

    const double det = H.at<double>(0, 0) * H.at<double>(1, 1) - H.at<double>(1, 0) * H.at<double>(0, 1);
    if (det < 0)
    {
        std::cout << "Homography: bad determinant" << std::endl;
        return false;
    }

    const double N1 = sqrt(H.at<double>(0, 0) * H.at<double>(0, 0) + H.at<double>(1, 0) * H.at<double>(1, 0));
    if (N1 > 4 || N1 < 0.1)
    {
        std::cout << "Homography: bad first column" << std::endl;
        return false;
    }

    const double N2 = sqrt(H.at<double>(0, 1) * H.at<double>(0, 1) + H.at<double>(1, 1) * H.at<double>(1, 1));
    if (N2 > 4 || N2 < 0.1)
    {
        std::cout << "Homography: bad second column" << std::endl;
        return false;
    }

    const double N3 = sqrt(H.at<double>(2, 0) * H.at<double>(2, 0) + H.at<double>(2, 1) * H.at<double>(2, 1));
    if (N3 > 0.002)
    {
        std::cout << "Homography: bad third row" << std::endl;
        return false;
    }

    return true;
}

我不明白这背后的数学因此,在测试时,我有时用一个简单的检查来替换这个函数,以确定单应性的行列式是否为正.问题是我一直在这里遇到问题.单应性要么全都不好,要么就不好(当我只检查行列式时).

我想我应该实际使用单应性,并且对于许多点,只需使用它们在源图像中的位置来计算它们在目标图像中的位置.然后我会比较这些平均距离,理想情况下,在正确图像的情况下,我会获得非常明显的较小平均距离.这没有工作在所有.所有的距离都是巨大的.我以为我可能已经使用了单应性来计算正确的位置,但是相互切换obj和场景给出了类似的结果.

我试过的其他东西是SURF描述符而不是SIFT,BFMatcher(蛮力)而不是FLANN,每个图像获得n个最小距离而不是根据最小距离获得数字,或者根据全局最大距离获得距离.这些方法都没有给我带来明确的好结果,我现在感到困惑.

我唯一的下一个策略是锐化图像,甚至使用一些局部阈值或一些用于分割的算法将它们转换为二进制图像.我正在寻找任何人可以在我的工作中看到的任何建议或错误.

我不知道这是否相关,但我添加了一些我正在测试它的图像.很多时候,在测试图像中,大多数SIFT矢量来自帧(高对比度)而不是绘画.这就是为什么我认为锐化图像可能会起作用的原因,但我不想更深入,以防我之前做过的事情是错误的.

图像库在这里带有标题中的描述.图像具有相当高的分辨率,请查看以防它可能提供一些提示.

Answer 1

你走的路是正确的。

首先，使用第二接近的比率而不是“2*min_dist 的良好匹配” /sf/answers/1611392261/。

其次，使用单应性的其他方式。当你找到单应性时，你不仅得到了 H 矩阵，而且得到了与之一致的对应数量。检查它是否是某个合理的数字，例如 >=15。如果小于，则对象不匹配。

第三，如果视角变化较大，SIFT 或 SURF 无法匹配图像。尝试使用 MODS（http://cmp.felk.cvut.cz/wbs/这里是 Windows 和 Linux 二进制文件，以及描述算法的论文）或 ASIFT（慢得多，匹配更差，但开源）http： //www.ipol.im/pub/art/2011/my-asift/

或者至少使用 MSER 或 Hessian-Affine 检测器代替 SIFT（保留 SIFT 作为描述符）。