OpenCV功能匹配多个图像

Question

如何使用FLANN优化许多图片的SIFT功能匹配？

我有一个从Python OpenCV文档中获取的工作示例.然而,这是将一个图像与另一个图像进行比较而且速度很慢.我需要它来搜索一系列图像(几千个)中匹配的特征,我需要它更快.

我目前的想法:

1. 浏览所有图像并保存功能.怎么样？
2. 将相机的图像与上面的基础进行比较,找到正确的图像.怎么样？
3. 给我结果,匹配图像或其他东西.

http://docs.opencv.org/trunk/doc/py_tutorials/py_feature2d/py_feature_homography/py_feature_homography.html

import sys # For debugging only
import numpy as np
import cv2
from matplotlib import pyplot as plt

MIN_MATCH_COUNT = 10

img1 = cv2.imread('image.jpg',0) # queryImage
img2 = cv2.imread('target.jpg',0) # trainImage

# Initiate SIFT detector
sift = cv2.SIFT()

# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)

FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks = 50)

flann = cv2.FlannBasedMatcher(index_params, search_params)

matches = flann.knnMatch(des1,des2,k=2)

# store all the good matches as per Lowe's ratio test.
good = []
for m,n in matches:
    if m.distance MIN_MATCH_COUNT:
    src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
    dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)

    M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC,5.0)
    matchesMask = mask.ravel().tolist()

    h,w = img1.shape
    pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
    dst = cv2.perspectiveTransform(pts,M)

    img2 = cv2.polylines(img2,[np.int32(dst)],True,255,3, cv2.LINE_AA)

else:
    print "Not enough matches are found - %d/%d" % (len(good),MIN_MATCH_COUNT)
    matchesMask = None

draw_params = dict(matchColor = (0,255,0), # draw matches in green color
                   singlePointColor = None,
                   matchesMask = matchesMask, # draw only inliers
                   flags = 2)

img3 = cv2.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)

plt.imshow(img3, 'gray'),plt.show()

---

UPDATE

在尝试了很多东西后,我现在可能已经接近解决方案了.我希望有可能构建索引,然后在其中搜索如下:

flann_params = dict(algorithm=1, trees=4)
flann = cv2.flann_Index(npArray, flann_params)
idx, dist = flann.knnSearch(queryDes, 1, params={})

但是我仍然没有设法为flann_Index参数构建一个接受的npArray.

loop through all images as image:
  npArray.append(sift.detectAndCompute(image, None))
npArray = np.array(npArray)

Answer 1

我从未在 Python 中解决过这个问题，但是我将环境切换到 C++，在那里你可以获得更多 OpenCV 示例，并且不必使用文档较少的包装器。

关于我在多个文件中匹配的问题的示例可以在这里找到： https: //github.com/Itseez/opencv/blob/2.4/samples/cpp/matching_to_many_images.cpp

Answer 2

随着@stanleyxu2005 的回复，我想添加一些关于如何完成整个匹配本身的提示，因为我目前正在处理这样的事情。

1. 我强烈建议创建一些自定义类，它环绕 cv::Mat 但也存储各种其他基本数据。在我的例子中，我有一个 ImageContainer 存储原始图像（我将用于最终拼接）、处理后的图像（灰度、未失真等）、其关键点和这些的描述符。通过这样做，您可以以组织良好的方式访问所有匹配相关信息。您可以在其中实现关键点提取和描述符生成，也可以在类之外执行此操作并将结果存储在该容器中。
2. 将所有图像容器存储在某种结构中（矢量通常是一个不错的选择）以便于访问。
3. 我还创建了一个名为 ImageMultiMatchContainer 的类，它存储一个指向给定查询图像的指针（所有图像都是查询图像），一个指向所有训练图像的向量（对于图像集的单个查询图像，所有其他图像都是训练图像）与它匹配，以及每个匹配项的匹配向量的向量。在这里，我偶然发现了一个存储问题 - 首先，您必须跳过图像与其自身的匹配，因为它毫无意义，其次，您会遇到两次比较两个图像的问题，如果您有很多图像，则会产生相当大的开销。第二个问题是由于我们遍历所有图像（查询图像）并将它们与集合中的其余图像（训练图像）进行比较。在某些时候，我们将图像 X（查询）与图像 Y（火车）相匹配，但后来我们也有图像 Y（现在查询）与图像 X（现在训练）匹配。正如您所看到的，这也是毫无意义的，因为它基本上是将同一对图像匹配两次。这可以通过创建一个类 (MatchContainer) 来解决（目前正在解决这个问题），该类存储指向匹配对中两个图像中每一个的指针以及匹配向量。您将其存储在中心位置（在我的情况下，这是我的匹配器类），对于作为查询图像的每个图像，您检查训练图像的匹配图像列表。如果它为空，则创建一个新的 MatchContainer 并将其添加到其余的 MatchContainer。如果不是，则查看它并查看当前查询图像是否不存在（比较指针是一种快速操作）。如果是，那么您只需将指针传递给该 MatchContainer' s 向量项，用于存储这两个图像的匹配项。如果情况并非如此，您就好像它是空的一样，然后创建一个新的 MatchContainer 等。 MatchingContainers 应该存储在访问时间较短的数据结构中，因为您将大量查看它们并从开始到结束成本也进行迭代很多时间。我正在考虑使用地图，但也许某种树也可以提供一些优势。
4. 单应性估计是一个非常棘手的部分。在这里，我建议您查看捆绑块调整。我看到 OpenCV 中的拼接器类有一个 BundleBase 类，但尚未对其进行测试以查看其中的内容。

一般建议是查看 OpenCV 中的拼接过程并阅读源代码。拼接管道是一组直接的过程，您只需要了解如何准确地实现单个步骤。