如何检测文档图像上的边缘，并将部分切成单独的图像？

Question

任务是拍摄文档的图像，并利用围绕不同“部分”的直线，以将图像拆分为不同的文档以进行进一步解析。不同“部分”的大小在页面之间是完全可变的（我们正在处理数千个页面）。这是这些图像之一的图像：

文档布局示例：

图像分析/操作对我来说是全新的。到目前为止，我已经尝试使用Scikit图像边缘检测算法来查找“盒子”，并希望使用这些“坐标”来裁剪图像。但是，我尝试过的两种算法（Canny，Hough）在高灵敏度时选择文本行作为“边”，而在低灵敏度时不选择我想要的行。我可以编写一些自定义的低级内容来自己检测这些盒子，但是我必须假定这是一个已解决的问题。

我的方法是否朝着正确的方向前进？谢谢！

Answer 1

您似乎没有得到任何OpenCV答案，所以我尝试了ImageMagick，只是在命令行的终端中。ImageMagick安装在大多数 Linux 发行版上，并且可免费用于 macOS 和 Windows。该技术很容易适应OpenCV，因此如果它适合您，您可以将其移植。

我的第一步是做一个 5x5 盒式滤波器和 80% 的阈值，以消除扫描伪影的噪声，然后反转（可能是因为我计划使用形态学，但最终没有）。

convert news.jpg -depth 16 -statistic mean 5x5 -threshold 80% -negate z.png

然后我通过“连接组件分析”运行它并丢弃所有面积太小的斑点（低于 2000 像素）：

convert news.jpg -depth 16 -statistic mean 5x5 -threshold 80% -negate  \
   -define connected-components:verbose=true                           \
   -define connected-components:area-threshold=2000                    \
   -connected-components 4 -auto-level output.png

输出

Objects (id: bounding-box centroid area mean-color):
  110: 1254x723+59+174 686.3,536.0 901824 srgb(0,0,0)
  2328: 935x723+59+910 526.0,1271.0 676005 srgb(0,0,0)
  0: 1370x1692+0+0 685.2,712.7 399651 srgb(0,0,0)
  2329: 303x722+1007+911 1158.0,1271.5 218766 srgb(0,0,0)
  25: 1262x40+54+121 685.2,140.5 49820 srgb(255,255,255)
  109: 1265x735+54+168 708.3,535.0 20601 srgb(255,255,255)
  1: 1274x64+48+48 675.9,54.5 16825 srgb(255,255,255)
  2326: 945x733+54+905 526.0,1271.0 16660 srgb(255,255,255)  
  2327: 312x732+1003+906 1169.9,1271.5 9606 srgb(255,255,255)  <--- THIS ONE
  421: 403x15+328+342 528.6,350.1 4816 srgb(255,255,255)
  7: 141x23+614+74 685.5,85.2 2831 srgb(255,255,255)

这些字段在第一行中进行了标记，但有趣的是第二个（块几何）和第四个字段（斑点区域）。正如您所看到的，有 11 行，因此它在图像中找到了 11 个斑点。第二个字段AxB+C+D表示一个矩形A，像素宽，B像素高，其左上角C像素距图像左边缘，D像素距顶部向下。

让我们看一下我用箭头标记的那个，它从箭头开始2327: 312x732+1003+906并在该箭头上绘制一个矩形：

convert news.jpg -fill "rgba(255,0,0,0.5)" -draw "rectangle 1003,906 1315,1638" oneArticle.png

如果您想将该文章裁剪成新图像：

convert news.jpg -crop 312x732+1003+906 article.jpg

如果我们画出所有其他方框，我们会得到：