平面图文本识别和 OCR

Question

目标是使用文本识别方法（例如：OpenCV）为美国平面图图像创建边界框，然后可以将其输入文本阅读器（例如：LSTM 或 tesseract）。

已经尝试了几种方法 cv2.findContours 和 cv2.boundingRect 方法，但在很大程度上未能推广到不同类型的平面图（平面图的外观存在很大差异）。

例如，在应用 cv2.findContours 函数之前，cv2.findContours 使用灰度、自适应阈值、腐蚀和膨胀（具有各种迭代）会导致以下结果。请注意，卧室 2 和厨房未正确拾取。

无法找到任何区域的其他示例：

关于文本识别模型或清理程序的任何想法将提高文本识别模型的准确性，最好是代码示例？

Answer 1

这个答案是基于图像彼此相似的假设（比如它们的大小、墙壁的厚度、字母......）。如果不是，这将不是一个好方法，因为您必须更改每个图像的阈值器。话虽如此，我会尝试将图像转换为二进制并搜索轮廓。之后，您可以添加诸如身高、体重等标准来过滤掉墙壁。之后，您可以在蒙版上绘制轮廓，然后扩大图像。这会将彼此靠近的字母组合成一个轮廓。然后您可以为所有轮廓创建边界框，这是您的 ROI。然后您可以在该区域使用任何 OCR。希望它有点帮助。干杯!

例子：

import cv2
import numpy as np

img = cv2.imread('floor.png')
mask = np.zeros(img.shape, dtype=np.uint8)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
_, threshold = cv2.threshold(gray,150,255,cv2.THRESH_BINARY_INV)
_, contours, hierarchy = cv2.findContours(threshold,cv2.RETR_TREE,cv2.CHAIN_APPROX_NONE)

ROI = []

for cnt in contours:
    x,y,w,h = cv2.boundingRect(cnt)
    if h < 20:
        cv2.drawContours(mask, [cnt], 0, (255,255,255), 1)

kernel = np.ones((7,7),np.uint8)
dilation = cv2.dilate(mask,kernel,iterations = 1)
gray_d = cv2.cvtColor(dilation, cv2.COLOR_BGR2GRAY)
_, threshold_d = cv2.threshold(gray_d,150,255,cv2.THRESH_BINARY)
_, contours_d, hierarchy = cv2.findContours(threshold_d,cv2.RETR_TREE,cv2.CHAIN_APPROX_NONE)

for cnt in contours_d:
    x,y,w,h = cv2.boundingRect(cnt)
    if w > 35:
        cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),2)
        roi_c = img[y:y+h, x:x+w]
        ROI.append(roi_c)

cv2.imshow('img', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

结果：