python opencv中的不规则形状检测和测量

Question

我试图在python中使用OpenCV进行一些图像分析,但我认为图像本身会非常棘手,而且之前我从未做过这样的事情,所以我想说出我的逻辑,也许会得到一些想法/实用代码实现我想做的事情,在我投入大量时间走错路之前.

这个帖子非常接近我想要达到的目标,在我看来,使用的图像应该比我的更难分析.我会对那些彩色斑点的大小感兴趣,而不是它们与左上角的距离.我也一直在关注这段代码,虽然我对参考对象并不特别感兴趣(仅以像素为单位的尺寸就足够了,之后可以转换).

这是输入图像:

你正在看的是冰晶,我想找到每个冰晶的平均大小.每个界限都有相当明确的定义,所以概念上这是我的方法,如果这是错误的方法,我想听听任何建议或意见:

1. RGB中的图像被导入并转换为8位灰色(根据我在ImageJ中的测试,32会更好,但我还没想到如何在OpenCV中做到这一点).
2. 边缘可选地是高斯模糊的以消除噪声
3. Canny边缘探测器拾取线条
4. 进行形态变换(侵蚀+膨胀)以试图进一步缩小边界.

在这一点上,似乎我可以做出选择.我可以对图像进行二值化,并测量高于阈值的斑点(即斑点为白色时的最大值像素),或者通过更完整地关闭和填充轮廓来继续边缘检测.虽然看了那个教程,轮廓似乎很复杂,虽然我可以让代码在我的图像上运行,但它并没有正确地检测到晶体(不出所料).我也不确定在二值化之前我是否应该进行变换？

假设我可以完成所有工作,我认为合理的测量将是最小封闭框或椭圆的最长轴.

我还没有完全解决所有的阈值,因此有些晶体被遗漏了,但由于它们被平均化,所以目前这并没有出现大问题.

该脚本在处理图像时会存储处理后的图像,所以我也希望最终的输出图像类似于链接的SO线程中的"标记的blob"图像,但每个blob都可以注释其尺寸.

这是一个(不完整的)理想化输出的样子,每个晶体都被识别,注释和测量(当我走得那么远时,我非常确定我可以解决测量).

---

简化了图像和之前的代码尝试,因为它们使线程过长并且不再相关.

---

编辑III:

根据评论,分水岭算法看起来非常接近实现我所追求的目标.这里的问题是,分配算法所需的标记区域非常困难(http://docs.opencv.org/3.2.0/d3/db4/tutorial_py_watershed.html).

我不认为这是通过二值化过程可以通过阈值解决的问题,因为谷物的表观颜色变化远大于该线程中的玩具示例.

编辑IV

这是我玩过的其他一些测试图像.它的表现比我预期的更小的水晶要好得多,显然很多可以通过我尚未尝试的阈值来完成.

这里是1,左上角到右下角对应于Alex在下面的步骤输出的图像.

这是第二个更大的晶体.

您会注意到这些颜色往往更均匀,但更难辨别边缘.我发现有点令人惊讶的是边缘泛滥对某些图像有点过于热心,我原本认为对于具有非常微小晶体的图像尤其如此,但实际上它似乎有更多的效果在较大的那些.从我们的实际显微镜可能有很大的空间来改善输入图像的质量,但是编程可以从系统中获得的"松弛"越多,我们的生活就越容易!

Answer 1

正如我在评论中提到的那样,对于这个问题,分水岭似乎是一个很好的方法.但是当你回答时,定义标记的前景和背景是困难的部分!我的想法是使用形态梯度沿着冰晶获得良好的边缘并从那里开始工作; 形态梯度似乎很有效.

import numpy as np
import cv2

img = cv2.imread('image.png')
blur = cv2.GaussianBlur(img, (7, 7), 2)
h, w = img.shape[:2]

# Morphological gradient

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 7))
gradient = cv2.morphologyEx(blur, cv2.MORPH_GRADIENT, kernel)
cv2.imshow('Morphological gradient', gradient)
cv2.waitKey()

从这里开始,我使用一些阈值来对梯度进行二值化.可能有一种更清洁的方法来做到这一点......但这比我尝试过的其他一些想法更好.

# Binarize gradient

lowerb = np.array([0, 0, 0])
upperb = np.array([15, 15, 15])
binary = cv2.inRange(gradient, lowerb, upperb)
cv2.imshow('Binarized gradient', binary)
cv2.waitKey()

现在我们有几个问题.它需要一些清理,因为它很乱,而且,图像边缘的冰晶出现了 - 但我们不知道那些晶体实际上在哪里结束所以我们应该忽略那些.为了从掩模中移除它们,我遍历边缘上的像素并用于floodFill()从二进制图像中移除它们.不要在行和列的顺序上混淆; 的if语句被指定行和图像矩阵的列,而输入到floodFill()期望的点(即x, y形式,这是相反的row, col).

# Flood fill from the edges to remove edge crystals

for row in range(h):
    if binary[row, 0] == 255:
        cv2.floodFill(binary, None, (0, row), 0)
    if binary[row, w-1] == 255:
        cv2.floodFill(binary, None, (w-1, row), 0)

for col in range(w):
    if binary[0, col] == 255:
        cv2.floodFill(binary, None, (col, 0), 0)
    if binary[h-1, col] == 255:
        cv2.floodFill(binary, None, (col, h-1), 0)

cv2.imshow('Filled binary gradient', binary)
cv2.waitKey()

大!现在只是打开和关闭一些清理它...

# Cleaning up mask

foreground = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)
foreground = cv2.morphologyEx(foreground, cv2.MORPH_CLOSE, kernel)
cv2.imshow('Cleanup up crystal foreground mask', foreground)
cv2.waitKey()

所以这个图像被标记为"前景",因为它具有我们想要分割的对象的可靠前景.现在我们需要创建一个确定的对象背景.现在,我以天真的方式做到了这一点,这只是为了使你的前景成长,所以你的对象可能都是在那个前景中定义的.但是,您可以使用原始蒙版或甚至渐变以不同的方式来获得更好的定义.尽管如此,这仍然可以,但不是很强大.

# Creating background and unknown mask for labeling

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (17, 17))
background = cv2.dilate(foreground, kernel, iterations=3)
unknown = cv2.subtract(background, foreground)
cv2.imshow('Background', background)
cv2.waitKey()

因此所有的黑色都是流域的"确定背景".我还创建了未知矩阵,它是前景和背景之间的区域,这样我们就可以预先标记传递到分水岭的标记,"嘿,这些像素肯定在前景,其他像素肯定是背景,我我不确定这些之间." 现在剩下要做的就是分水岭!首先,使用连接的组件标记前景图像,识别未知和背景部分,并将它们传递到:

# Watershed

markers = cv2.connectedComponents(foreground)[1]
markers += 1  # Add one to all labels so that background is 1, not 0
markers[unknown==255] = 0  # mark the region of unknown with zero
markers = cv2.watershed(img, markers)

你会注意到我跑watershed()了img.您可以尝试在图像的模糊版本上运行它(可能是中间模糊 - 我尝试了这个并且为晶体获得了更平滑的边界)或其他预处理版本的图像,这些版本定义了更好的边界或某些东西.

将标记可视化需要一些工作,因为它们都是uint8图像中的小数字.所以我做的是在0到179中为它们分配一些色调并在HSV图像中设置,然后转换为BGR以显示标记:

# Assign the markers a hue between 0 and 179

hue_markers = np.uint8(179*np.float32(markers)/np.max(markers))
blank_channel = 255*np.ones((h, w), dtype=np.uint8)
marker_img = cv2.merge([hue_markers, blank_channel, blank_channel])
marker_img = cv2.cvtColor(marker_img, cv2.COLOR_HSV2BGR)
cv2.imshow('Colored markers', marker_img)
cv2.waitKey()

最后,将标记覆盖到原始图像上以检查它们的外观.

# Label the original image with the watershed markers

labeled_img = img.copy()
labeled_img[markers>1] = marker_img[markers>1]  # 1 is background color
labeled_img = cv2.addWeighted(img, 0.5, labeled_img, 0.5, 0)
cv2.imshow('watershed_result.png', labeled_img)
cv2.waitKey()

嗯,那就是整个管道.您应该能够连续复制/粘贴每个部分,并且您应该能够获得相同的结果.该管道中最薄弱的部分是对梯度进行二值化并定义流域的确定背景.距离变换可能有助于以某种方式对梯度进行二值化,但我还没有到达那里.无论哪种方式......这是一个很酷的问题,我很想看到你对这个管道所做的任何改变,或者它对其他冰晶图像的影响.