如何在python中的主图像之上覆盖分段图像

Question

我有一个 RGB 图像和另一个分割图像，其中像素有 3 个值（分割图像）。我想将分割的图像叠加在主图像的顶部，因为分割区域在主图像上形成轮廓，如下图所示。这里分割后的图像像素的值为0、1和2。红色轮廓表示值为1的像素的轮廓，黄色轮廓表示值为2的像素的轮廓，背景像素值为0。

该图像来自论文“Dilated-Inception Net: Multi-Scale FeatureAggregation for Cardiac Right VentricleSegmentation”

这是分割图像的示例。

分割图像

背景图像可以是任何图像。我只需要这些矩形计数器出现在背景图像上，作为两个类似于上面的红色和黄色线条的轮廓。因此，输出将类似于下图。

输出图像

对不起，因为我手工绘制矩形，它们不准确。我只想让您深入了解输出。

Answer 1

我使用四种不同的方法对此进行了尝试：

• OpenCV
• PIL/枕头和Numpy
• 命令行与ImageMagick
• 来自 skimage 的形态学

方法 1 - OpenCV

• 将分割的图像作为灰度打开
• 将主图像打开为灰度并制作颜色以允许注释
• 使用查找轮廓 cv2.findContours()
• 迭代轮廓并用于cv2.drawContours()根据分割图像中的标签将每个轮廓以颜色绘制到主图像上。

文档在这里。

所以，从这张图片开始：

和这个分割的图像：

当对比拉伸时看起来像这样，三明治被标记为grey(1)，鼻子为grey(2)：

这是代码：

#!/usr/bin/env python3

import numpy as np
import cv2

# Load images as greyscale but make main RGB so we can annotate in colour
seg  = cv2.imread('segmented.png',cv2.IMREAD_GRAYSCALE)
main = cv2.imread('main.png',cv2.IMREAD_GRAYSCALE)
main = cv2.cvtColor(main,cv2.COLOR_GRAY2BGR)

# Dictionary giving RGB colour for label (segment label) - label 1 in red, label 2 in yellow
RGBforLabel = { 1:(0,0,255), 2:(0,255,255) }

# Find external contours
_,contours,_ = cv2.findContours(seg,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)

# Iterate over all contours
for i,c in enumerate(contours):
    # Find mean colour inside this contour by doing a masked mean
    mask = np.zeros(seg.shape, np.uint8)
    cv2.drawContours(mask,[c],-1,255, -1)
    # DEBUG: cv2.imwrite(f"mask-{i}.png",mask)
    mean,_,_,_ = cv2.mean(seg, mask=mask)
    # DEBUG: print(f"i: {i}, mean: {mean}")

    # Get appropriate colour for this label
    label = 2 if mean > 1.0 else 1
    colour = RGBforLabel.get(label)
    # DEBUG: print(f"Colour: {colour}")

    # Outline contour in that colour on main image, line thickness=1
    cv2.drawContours(main,[c],-1,colour,1)

# Save result
cv2.imwrite('result.png',main) 

结果：

方法 2 - PIL/Pillow 和 Numpy

• 打开分割的图像并找到独特的颜色
• 打开主图像并去饱和
• 迭代列表中的每个唯一颜色
• ... 将所有像素设为白色，将其他所有像素设为黑色
• ... 查找边缘并使用边缘作为蒙版在主图像上绘制颜色

这是代码：

#!/usr/bin/env python3

from PIL import Image, ImageFilter
import numpy as np

def drawContour(m,s,c,RGB):
    """Draw edges of contour 'c' from segmented image 's' onto 'm' in colour 'RGB'"""
    # Fill contour "c" with white, make all else black
    thisContour = s.point(lambda p:p==c and 255)
    # DEBUG: thisContour.save(f"interim{c}.png")

    # Find edges of this contour and make into Numpy array
    thisEdges   = thisContour.filter(ImageFilter.FIND_EDGES)
    thisEdgesN  = np.array(thisEdges)

    # Paint locations of found edges in color "RGB" onto "main"
    m[np.nonzero(thisEdgesN)] = RGB
    return m

# Load segmented image as greyscale
seg = Image.open('segmented.png').convert('L')

# Load main image - desaturate and revert to RGB so we can draw on it in colour
main = Image.open('main.png').convert('L').convert('RGB')
mainN = np.array(main)

mainN = drawContour(mainN,seg,1,(255,0,0))   # draw contour 1 in red
mainN = drawContour(mainN,seg,2,(255,255,0)) # draw contour 2 in yellow

# Save result
Image.fromarray(mainN).save('result.png')

你会得到这样的结果：

方法 3 - ImageMagick

您还可以从命令行执行相同的操作，而无需编写任何 Python，只需使用安装在大多数 Linux 发行版上且可用于 macOS 和 Windows 的ImageMagick：

#!/bin/bash

# Make red overlay for "1" labels
convert segmented.png -colorspace gray -fill black +opaque "gray(1)" -fill white -opaque "gray(1)" -edge 1 -transparent black -fill red     -colorize 100% m1.gif
# Make yellow overlay for "2" labels
convert segmented.png -colorspace gray -fill black +opaque "gray(2)" -fill white -opaque "gray(2)" -edge 1 -transparent black -fill yellow  -colorize 100% m2.gif
# Overlay both "m1.gif" and "m2.gif" onto main image
convert main.png -colorspace gray -colorspace rgb m1.gif -composite m2.gif -composite result.png

方法 4 - skimage 的形态学

在这里，我使用形态学来查找像素附近的1黑色像素和像素附近的黑色2像素。

#!/usr/bin/env python3

import skimage.filters.rank
import skimage.morphology
import numpy as np
import cv2

# Load images as greyscale but make main RGB so we can annotate in colour
seg  = cv2.imread('segmented.png',cv2.IMREAD_GRAYSCALE)
main = cv2.imread('main.png',cv2.IMREAD_GRAYSCALE)
main = cv2.cvtColor(main,cv2.COLOR_GRAY2BGR)

# Create structuring element that defines the neighbourhood for morphology
selem = skimage.morphology.disk(1)

# Mask for edges of segment 1 and segment 2
# We are basically looking for pixels with value 1 in the segmented image within a radius of 1 pixel of a black pixel...
# ... then the same again but for pixels with a vaue of 2 in the segmented image within a radius of 1 pixel of a black pixel
seg1 = (skimage.filters.rank.minimum(seg,selem) == 0) & (skimage.filters.rank.maximum(seg, selem) == 1)
seg2 = (skimage.filters.rank.minimum(seg,selem) == 0) & (skimage.filters.rank.maximum(seg, selem) == 2)

main[seg1,:] = np.asarray([0, 0,   255]) # Make segment 1 pixels red in main image
main[seg2,:] = np.asarray([0, 255, 255]) # Make segment 2 pixels yellow in main image

# Save result
cv2.imwrite('result.png',main) 

注意：JPEG 是有损的- 不要将分割的图像保存为 JPEG，使用 PNG 或 GIF！

关键词：Python、PIL、枕头、OpenCV、分割、分段、标记、图像、图像处理、边缘、轮廓、skimage、ImageMagick、scikit-image、形态学、排名、排名过滤器、像素邻接。

Answer 2

这些是快速的单行代码，可以自动为类别/类整数值选择颜色并执行覆盖到原始图像上的操作。

给整个分割区域上色：

from skimage import color
result_image = color.label2rgb(segmentation_results, input_image)

分割区域的颜色轮廓：

from skimage import segmentation
result_image = segmentation.mark_boundaries(input_image, segmentation_results, mode='thick')