测量特征匹配的图像相似度？

Question

我目前正在尝试使用python在openCV中使用SIFT的Brute Force功能匹配器.我正在尝试将它用于我的服务器上的图像搜索功能,在那里我输入图像并将该图像与其他图像进行比较,希望匹配将指示相似程度.有没有办法通过使用特征匹配来指示相似程度？

目前,我正在玩我在本网站上发现的内容,我将在下面发布:

img1 = cv2.imread('box.png',0)          # queryImage
img2 = cv2.imread('box_in_scene.png',0) # trainImage

# Initiate SIFT detector
sift = cv2.SIFT()

# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)

# BFMatcher with default params
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1,des2, k=2)

# Apply ratio test
good = []
for m,n in matches:
    if m.distance < 0.75*n.distance:
        good.append([m])

# cv2.drawMatchesKnn expects list of lists as matches.
img3 = cv2.drawMatchesKnn(img1,kp1,img2,kp2,good,flags=2)

plt.imshow(img3),plt.show()

我现在用来创建"相似性"度量的是从应用比率测试中获得的"好"匹配的数量,并且只是使用简单的方法找到存储的好"匹配"的数量len(good).

这返回了我用来评估输入图像与数据库相似性的良好匹配数.然而,我假设它并不像这样简单,因为当我开始使用鞋子的图片进行测试时,像香蕉之类的图像,比其他鞋子的图像获得了更多的"好"匹配.甚至比不同颜色的同一只鞋更相似.

我认为这可能只是一个异常,所以我继续测试更大的图像数据集,再次发现,鞋子没有得到分数(或好的匹配数量),高达说四分之一的图像自行车或人,而不是与其他鞋匹配.

那么基本上,如何使用与数值匹配的特征来定义两个图像的相似度？

谢谢.

Answer 1

我认为你需要选择更好的功能才能获得更好的(或更相似的图像)结果.SIFT是一个局部特征,即使图像在语义上不同(如在鞋子和香蕉中),也很有可能找到类似的SIFT特征.

为了提高相似度,我建议您决定除SIFT之外的更好的功能.就像图像中的颜色直方图一样.如果使用图像的颜色直方图,您将获得颜色直方图相似的图像.您可以使用各种功能,以找到相似性.您可以通过检查数据库中的图像类型以及您认为可以识别不同语义类之间的特征来决定此混合.

如果您可以使用稍微不同的方法,我想建议PLSA,这是我使用的方法.概率潜在语义分析(PLSA)是一种无监督学习算法,表示具有较低维度隐藏类的数据.然后可以通过计算新图像与所有其他类的低维表示的欧氏距离来找到相似性.您可以根据距离对其进行排序并获得类似的图像.即使在这里选择正确的功能也很重要 您还需要选择隐藏类的数量.您需要尝试一些课程.

我有一个使用PLSA来解决图像检索的小项目.所以,如果你不介意这个插件,这里是PLSA图像检索.不幸的是它是Matlab,但你可以理解发生了什么并尝试使用它.我使用了颜色直方图作为功能.因此,选择能够帮助您更好地识别不同类别的功能.