如何检测给定图像中的所有矩形框

Question

我尝试使用阈值、精明边缘和应用轮廓检测​​来检测图像中的所有矩形，但它无法检测到所有矩形。最后，我想到使用hough变换来检测相同的内容，但是当我尝试检测图像中的线条时，我得到了所有线条。我只需要检测图像中的矩形框。有人能帮我吗？我是 opencv 的新手。

输入图像

代码：

import cv2
import matplotlib.pyplot as plt
import numpy as np

img =  cv2.imread("demo-hand-written.png",-1)
#img = cv2.resize(img,(1280,720))
edges = cv2.Canny(img,180,200)
kernel = np.ones((2,2),np.uint8)
d = cv2.dilate(edges,kernel,iterations = 2)
e = cv2.erode(img,kernel,iterations = 2)  
#ret, th = cv2.threshold(img, 220, 255, cv2.THRESH_BINARY_INV)

lines = cv2.HoughLinesP(edges,1,np.pi/180,30, maxLineGap=20,minLineLength=30)
for line in lines:
    #print(line)
    x1,y1,x2,y2 = line[0]
    cv2.line(img,(x1,y1),(x2,y2),(0,255,0),3)
cv2.imshow("image",img)
cv2.waitKey(0)
cv2.destroyAllWindows()

Answer 1

您可以使用下面的代码作为起点。

img =  cv2.imread('demo-hand-written.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

thresh_inv = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)[1]

# Blur the image
blur = cv2.GaussianBlur(thresh_inv,(1,1),0)

thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)[1]

# find contours
contours = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[0]

mask = np.ones(img.shape[:2], dtype="uint8") * 255
for c in contours:
    # get the bounding rect
    x, y, w, h = cv2.boundingRect(c)
    if w*h>1000:
        cv2.rectangle(mask, (x, y), (x+w, y+h), (0, 0, 255), -1)

res_final = cv2.bitwise_and(img, img, mask=cv2.bitwise_not(mask))

cv2.imshow("boxes", mask)
cv2.imshow("final image", res_final)
cv2.waitKey(0)
cv2.destroyAllWindows()

输出：

图 1：上图中检测到的矩形框

图 2：原始图像中检测到的矩形轮廓

Answer 2

建议：

使用霍夫检测水平线。然后依次取出每一行，并考虑一个与该行一样大且高度较短的窗口。使用霍夫检测此窗口中的垂直线。这将为您提供候选角落。（您也可以尝试在线上方一个窗口和在线下方一个窗口。）

然后通过一些额外的局部处理（？），确认候选者确实是盒子角点，并找到角点方向。最后，您应该能够以几何上有意义的方式连接角？