如何找到这4个正方形的外角坐标？（如果图像旋转，形态学关闭/打开不保存正方形）

Question

我正在编写的工具中的第一个处理步骤之一是找到 4 个大黑色方块的外角坐标。然后它们将用于进行单应变换，以对图像进行去歪斜/反旋转（又名透视变换），最终得到一个矩形图像。这是一个旋转和嘈杂的输入示例（下载链接在这里）：

为了只保留大方块，我使用了形态变换，如关闭/打开：

import cv2, numpy as np
img = cv2.imread('rotatednoisy-cropped.png', cv2.IMREAD_GRAYSCALE)
kernel = np.ones((30, 30), np.uint8)
img = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)
cv2.imwrite('output.png', img)

输入文件（下载链接）：

形态变换后的输出：

问题：输出的正方形不再是正方形，因此正方形左上角的坐标根本不精确！

我可以减少内核大小，但它会保留更多不需要的小元素。

问题：如何更好地检测正方形的角点？

---

笔记：

• 由于形态闭合只是膨胀 + 侵蚀，我找到了罪魁祸首：

  import cv2, numpy as np
  img = cv2.imread('rotatednoisy-cropped.png', cv2.IMREAD_GRAYSCALE)
  kernel = np.ones((30, 30), np.uint8)
  img = cv2.dilate(img, kernel, iterations = 1)
  

  经过这一步，还是可以的：

  

  然后

  img = cv2.erode(img, kernel, iterations = 1)
  

  给

  

  现在不行了！

Answer 1

有关如何消除图像倾斜的详细说明，请参阅此链接。

import cv2
import numpy as np

def corners(box):
    cx,cy,w,h,angle = box[0][0],box[0][1],box[1][0],box[1][1],box[2]
    CV_PI = 22./7.
    _angle = angle*CV_PI/180.;
    b = np.cos(_angle)*0.5;
    a = np.sin(_angle)*0.5;

    pt = []
    pt.append((int(cx - a*h - b*w),int(cy + b*h - a*w)));
    pt.append((int(cx + a*h - b*w),int(cy - b*h - a*w)));
    pt.append((int(2*cx - pt[0][0]),int(2*cy - pt[0][1])));
    pt.append((int(2*cx - pt[1][0]),int(2*cy - pt[1][1])));
    return pt

if __name__ == '__main__':

    image = cv2.imread('image.jpg',cv2.IMREAD_UNCHANGED)

    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

    n = 3
    sigma = 0.3 * (n/2 - 1) + 0.8
    gray = cv2.GaussianBlur(gray, ksize=(n,n), sigmaX=sigma)

    ret,binary = cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU+cv2.THRESH_BINARY)

    _,contours,_ = cv2.findContours(binary, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)

    contours.sort(key=lambda x: len(x), reverse=True)

    points = []
    for i in range(0,4):
        shape = cv2.approxPolyDP(contours[i], 0.05*cv2.arcLength(contours[i],True), True)
        if len(shape) == 4:
            points.append(shape)

    points = np.array(points,dtype=np.int32)
    points = np.reshape(points, (-1,2))
    box = cv2.minAreaRect(points)
    pt = corners(box)

    for i in range(0,4):
       image = cv2.line(image, (pt[i][0],pt[i][1]), (pt[(i+1)%4][0],pt[(i+1)%4][1]), (0,0,255))


    (h,w) = image.shape[:2]
    (center) = (w//2,h//2)
    angle = box[2]

    if angle < -45:
        angle = (angle+90)
    else:
        angle = -angle

    M = cv2.getRotationMatrix2D(center, angle, 1.0)
    rotated = cv2.warpAffine(image, M, (w,h), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_CONSTANT)

    cv2.imshow('image', image)
    cv2.imshow('rotated', rotated)
    cv2.waitKey(0)
    cv2.destroyAllWindows()