如何在大图中定位二维码以提高解码性能？

Question

背景

我需要在 Raspberry Pi 上的大图像（2500x2000）中检测和解码相对较小的二维码（110x110 像素）。二维码可以在框架中的任何位置，但方向应该是正常的，即充值。我们使用高质量的工业相机和镜头，因此图像通常质量好且对焦清晰。

目前，pyzbar当我使用大约 600x500 的窗口裁剪 QR 码周围的图像时，我能够可靠地检测和解码图像。如果我尝试解码完整图像，则不会检测/解码该符号。

我试过的

我写了一个循环，在图像上滑动一个裁剪窗口，并尝试分别解码每个裁剪的帧。我每次迭代都将窗口移动 50%，以确保不会遗漏窗口边缘的任何符号。

我也尝试过使用 OpenCV 进行检测/解码，但性能并不比使用 pyzbar

我的解决方案的问题

影响我当前项目的问题：

滑动窗口方法难以调优，效率低下，b/c 速度慢：

1. 它导致整个区域被分析近 4 次；将窗口移动 50% 的副作用，
2. 最可靠的窗口尺寸往往很小，需要多次迭代，
3. 符号大小可能会因离相机更近/更远而有所不同。

可能会影响我将使用这种方法的其他项目的问题：

1. 滑动窗口可能会多次捕获一个符号，因此很难确定该符号是否出现多次。

问题

如何找到二维码的大概位置，以便相应地裁剪图像？

我对提高检测/解码性能的任何解决方案感兴趣，但更喜欢 (a) 使用机器学习技术（我是 ML 新手但愿意学习），(b) 使用 OpenCV 图像预处理或 (c ) 改进我的基本裁剪算法。

示例图像

这是我用于测试的示例图像之一。为了近似最坏的情况，故意降低照明质量，但是在裁剪时各个代码仍然可以正确检测和解码。

Answer 1

我想我找到了一种简单而可靠的方法来检测二维码的角落。但是，我的方法假设 QR 与其周围区域之间存在一些对比（越大越好）。此外，我们必须记住，既不是 100% 可靠，pyzbar也不opencv.QRCodeDetector是 100% 可靠。

所以，这是我的方法：

1. 调整图像大小。经过一些实验，我得出的结论pyzbar不是完全尺度不变的。尽管我没有可以支持这一说法的参考资料，但作为经验法则，我仍然使用中小型图像进行条形码检测。您可以跳过这一步，因为它看起来完全是随意的。

image = cv2.imread("image.jpg")
scale = 0.3
width = int(image.shape[1] * scale)
height = int(image.shape[0] * scale)
image = cv2.resize(image, (width, height))

2. 阈值。我们可以利用条形码在白色表面上通常是黑色的事实。对比度越大越好。

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
_, thresh = cv2.threshold(gray, 120, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

3.扩张+轮廓。这一步有点棘手，如果我的英语在这里不完全清楚，我深表歉意。从上图我们可以看到，二维码内部的白色之间有黑色的空间。如果我们只是找到轮廓，那么 opencv 会假设这些空间是独立的实体，而不是整体的一部分。如果我们想对二维码进行转换，让它看起来只是一个白色的方块，我们必须做一些形态学操作。也就是说，我们必须扩张图像。

# The bigger the kernel, the more the white region increases.
# If the resizing step was ignored, then the kernel will have to be bigger
# than the one given here.
kernel = np.ones((3, 3), np.uint8)
thresh = cv2.dilate(thresh, kernel, iterations=1)
contours, _ = cv2.findContours(thresh, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)

4.过滤和获取边界框。大多数找到的轮廓太小而无法包含条形码，因此我们必须过滤它们以使我们的搜索空间更小。过滤掉弱候选后，我们可以获取强候选的边界框。

编辑：在这种情况下，我们按区域过滤（小区域 = 弱候选），但我们也可以按检测范围过滤。基本上，范围测量的是对象的矩形度，我们可以使用该信息，因为我们知道二维码是正方形。我选择了大于 pi / 4 的范围，因为这是一个完美圆的范围，这意味着我们也过滤掉了圆形对象。

bboxes = []
for cnt in contours:
  area = cv2.contourArea(cnt)
  xmin, ymin, width, height = cv2.boundingRect(cnt)
  extent = area / (width * height)
  
  # filter non-rectangular objects and small objects
  if (extent > np.pi / 4) and (area > 100):
    bboxes.append((xmin, ymin, xmin + width, ymin + height))

5.检测条码。我们已将搜索空间缩小到实际的二维码！现在我们终于可以使用了pyzbar，不用太担心条形码检测时间太长。

qrs = []
info = set()
for xmin, ymin, xmax, ymax in bboxes:
  roi = image[ymin:ymax, xmin:xmax]
  detections = pyzbar.decode(roi, symbols=[pyzbar.ZBarSymbol.QRCODE])
  for barcode in detections:
     info.add(barcode.data)
     # bounding box coordinates
     x, y, w, h = barcode.rect
     qrs.append((xmin + x, ymin + y, xmin + x + w, ymin + y + height))

不幸的pyzbar是，即使两个条形码都在搜索空间中，也只能解码最大的二维码 (b'3280406-001') 的信息。关于知道检测到特定代码的次数，您可以使用标准模块中的Counter对象collections。如果您不介意拥有这些信息，那么您可以像我在这里所做的那样使用一组。

希望这会有所帮助:)。