即使一个图像的裁剪/比例略有不同，我如何检测两个图像是“相同的”？

Question

我有两个不同的图像：

在 100px 与 或 400 像素

和

在 100px 宽度 或 400 像素

正如您所看到的，从人类的角度来看，两者显然是“相同的”。现在我想以编程方式检测它们是否相同。我一直在通过 ruby​​ gem 使用图像魔法，rmagick如下所示：

img1 = Magick::Image.from_blob(File.read("image_1.jpeg")).first
img2 = Magick::Image.from_blob(File.read("image_2.jpeg")).first

if img1.difference(img2).first < 4000.0 # I have found this to be a good threshold, but does not work for cropped images
  puts "they are the same!!!"
end

虽然这适用于具有相同比例/裁剪的图像，但当它们的裁剪略有不同并且已调整为相同宽度时，这并不理想。

有没有办法对不同裁剪的图像进行处理？我对一个解决方案感兴趣，我可以这样说：一个图像包含在另一个图像中，并覆盖了大约 90% 的区域。

附注。如果有帮助，我可以获得更高分辨率的图像（例如双倍）

Answer 1

您可能想看看特征匹配。这个想法是在两个图像中找到特征并匹配它们。此方法通常用于在另一个图像中查找模板（例如徽标）。本质上，特征可以描述为人类会在图像中感兴趣的事物，例如角落或开放空间。有许多类型的特征检测技术，但我的建议是使用尺度不变特征变换 (SIFT) 作为特征检测算法。SIFT 对图像平移、缩放、旋转不变，对光照变化部分不变，对局部几何失真具有鲁棒性。这似乎符合您的规范，其中图像的比例可能略有不同。

鉴于您提供的两个图像，这里尝试使用FLANN 特征匹配器来匹配特征。为了确定两幅图像是否相同，我们可以将其基于某个预定阈值，该阈值跟踪通过 David G. Lowe在 Scale-Invariant Keypoints 的 Distinctive Image Features from Scale-Invariant Keypoints 中描述的比率测试的匹配数量。测试的一个简单解释是比率测试检查匹配项是否不明确并且应该删除，您可以将其视为异常值删除技术。我们可以计算通过这个测试的匹配数来确定两个图像是否相同。下面是特征匹配结果：

Matches: 42

点代表检测到的所有匹配，而绿线代表通过比率测试的“良好匹配”。如果您不使用比率测试，则将绘制所有点。这样，您可以将此过滤器用作阈值，以仅保留最匹配的特征。

我是用 Python 实现的，我对 Rails 不是很熟悉。希望这有帮助，祝你好运！

代码

import numpy as np
import cv2

# Load images
image1 = cv2.imread('1.jpg', 0)
image2 = cv2.imread('2.jpg', 0)

# Create the sift object
sift = cv2.xfeatures2d.SIFT_create(700)

# Find keypoints and descriptors directly
kp1, des1 = sift.detectAndCompute(image2, None)
kp2, des2 = sift.detectAndCompute(image1, None)

# FLANN parameters
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)   # or pass empty dictionary
flann = cv2.FlannBasedMatcher(index_params,search_params)
matches = flann.knnMatch(des1,des2,k=2)

# Need to draw only good matches, so create a mask
matchesMask = [[0,0] for i in range(len(matches))]

count = 0
# Ratio test as per Lowe's paper (0.7)
# Modify to change threshold 
for i,(m,n) in enumerate(matches):
    if m.distance < 0.15*n.distance:
        count += 1
        matchesMask[i]=[1,0]

# Draw lines
draw_params = dict(matchColor = (0,255,0),
                   # singlePointColor = (255,0,0),
                   matchesMask = matchesMask,
                   flags = 0)

# Display the matches
result = cv2.drawMatchesKnn(image2,kp1,image1,kp2,matches,None,**draw_params)
print('Matches:', count)
cv2.imshow('result', result)
cv2.waitKey()