从图像中删除OCR词（OpenCV，Python）

Question

所以，从我可以开始的..

我正在使用OCR。该脚本可以很好地满足我的需求。它以对我来说可以的准确性来检测单词。

结果就是：附加图像的准确性为100％。

from PIL import Image
import pyocr.builders
import os

os.putenv("TESSDATA_PREFIX", "C:\\Program Files (x86)\\Tesseract-OCR")

tools = pyocr.get_available_tools()
tool = tools[0]
langs = tool.get_available_languages()
lang = langs[0] #eng

file = "test.png"

txt = tool.image_to_string(Image.open(file), lang=lang, builder=pyocr.builders.TextBuilder())
print(txt + '\n')

'''
word = ['SHINE','ON','YOU','CRAZY','DIAMOND','SYD']

if word[2] in txt:
    print("## WORD IN LIST ##")
else:
    print("## NOT IN LIST ##")'''

现在的问题是：如何从图像中删除输出OCR列表中存在的单词（在名为的代码中txt）？我的意思是，如果控制台中（以及列表中）的输出中存在SHINE字样，如何在image中删除它？或者，如果不移除，请创建一个遮罩，以便将其隐藏...

我认为ocr可以通过选择文本区域并在文本周围创建边框来工作。在这种情况下，如何删除（甚至显示）此ROI /边界框？在pyocr文档中，有一些关于此功能的提示（显示边界框），但我不知道如何使用它。

任何帮助/提示表示赞赏。

谢谢

编辑：这段代码向我展示了每个字符的边界框

import csv
import cv2
from pytesseract import pytesseract as pt

pt.run_tesseract('test.png', 'output', lang=None, boxes=True, config="hocr")

# To read the coordinates
boxes = []
with open('output.box', 'rt') as f:
    reader = csv.reader(f, delimiter = ' ')
    for row in reader:
        if len(row) == 6:
            boxes.append(row)

# Draw the bounding box
img = cv2.imread('test.png')
h, w, _ = img.shape
for b in boxes:
    img = cv2.rectangle(img,(int(b[1]),h-int(b[2])),(int(b[3]),h-int(b[4])),(255,0,0),2)

cv2.imshow('output', img)
cv2.waitKey(0)

如何告诉我只显示第一个（整个）单词？

Answer 1

这是一个简单的方法

• 将图像转换为灰度
• 大津的门槛
• 扩张以连接轮廓
• 找到每个单词的轮廓并提取 ROI
• 执行 OCR 并删除单词

转换为灰度后，我们通过Otsu的阈值得到二值图像

接下来，我们反转图像并膨胀以形成每个单词的单个轮廓

从这里我们找到轮廓并提取每个单词的 ROI。这是检测到的 ROI

我们将每个 ROI 放入 Pytesseract OCR 中。如果 OCR 结果是我们想要删除的单词，我们只需通过用白色填充 ROI 来“删除”该单词并将其替换到原始图像中

和

words_to_remove = ['on', 'you', 'crazy']

结果是

类似地与

words_to_remove = ['on', 'you', 'shine', 'diamond']

结果是

最后与

words_to_remove = ['on', 'you', 'crazy', 'diamond']

import cv2
import pytesseract

words_to_remove = ['on', 'you', 'crazy', 'diamond']
pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

image = cv2.imread("1.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
inverted_thresh = 255 - thresh
dilate = cv2.dilate(inverted_thresh, kernel, iterations=4)

cnts = cv2.findContours(dilate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    x,y,w,h = cv2.boundingRect(c)
    ROI = thresh[y:y+h, x:x+w]
    data = pytesseract.image_to_string(ROI, lang='eng',config='--psm 6').lower()
    if data in words_to_remove:
        image[y:y+h, x:x+w] = [255,255,255]

cv2.imshow("thresh", thresh)
cv2.imshow("dilate", dilate)
cv2.imshow("image", image)
cv2.waitKey(0)