如何检测圣诞树？

Question

如何检测圣诞树？

kar*_*lip 376 c++ python opencv image-processing computer-vision

哪些图像处理技术可用于实现检测以下图像中显示的圣诞树的应用程序？

我正在寻找适用于所有这些图像的解决方案.因此,需要训练haar级联分类器或模板匹配的方法不是很有趣.

我正在寻找可以用任何编程语言编写的东西,只要它只使用开源技术.必须使用此问题上共享的图像测试解决方案.有6个输入图像,答案应显示处理每个图像的结果.最后,对于每个输出图像,必须有红线绘制以包围检测到的树.

您将如何以编程方式检测这些图像中的树？

Answer 1

sta*_*yra 179

我有一种方法,我觉得它很有趣,与其他方法有点不同.与其他一些方法相比,我的方法的主要区别在于如何执行图像分割步骤 - 我使用了Python的scikit-learn中的DBSCAN聚类算法; 它被优化用于寻找可能不一定具有单个清晰质心的有些无定形形状.

在顶层,我的方法相当简单,可以分解为大约3个步骤.首先,我应用一个阈值(或实际上,两个独立和不同的阈值的逻辑"或").与许多其他答案一样,我认为圣诞树将是场景中较亮的物体之一,因此第一个阈值只是一个简单的单色亮度测试; 在0-255比例(其中黑色为0,白色为255)中具有大于220的值的任何像素被保存为二进制黑白图像.第二个阈值试图寻找红色和黄色的灯光,这些灯光在六个图像的左上角和右下角的树木中特别突出,并且在大多数照片中普遍存在的蓝绿色背景中很好地突出.我将rgb图像转换为hsv空间,并要求色调在0.0-1.0范围内小于0.2(大致相当于黄色和绿色之间的边界)或大于0.95(对应于紫色和红色之间的边界)另外我需要明亮饱和的颜色:饱和度和值必须都高于0.7.两个阈值程序的结果在逻辑上"或"在一起,并且得到的黑白二进制图像矩阵如下所示:

圣诞树,HSV上的阈值处理以及单色亮度

您可以清楚地看到每个图像都有一个大的像素簇,大致对应于每个树的位置,另外一些图像还有一些其他小的簇对应于某些建筑物的窗户中的灯光,或者对应于在地平线上的背景场景.下一步是让计算机识别出这些是独立的群集,并使用群集成员身份ID正确标记每个像素.

为此,我选择了DBSCAN.相对于此处提供的其他聚类算法,DBSCAN的典型行为有很好的视觉比较.正如我之前所说,它非常适合无定形形状.DBSCAN的输出,每个簇以不同的颜色绘制,如下所示:

DBSCAN集群输出

在查看此结果时,有几点需要注意.首先,DBSCAN要求用户设置"接近"参数以调节其行为,这有效地控制了一对点必须分开的方式,以便算法声明一个新的独立簇而不是将测试点聚集到已经存在的集群.我将此值设置为沿每个图像的对角线大小的0.04倍.由于图像的大小从大约VGA到大约HD 1080不等,因此这种类型的比例相关定义至关重要.

值得注意的另一点是,在scikit-learn中实现的DBSCAN算法具有内存限制,这对于此示例中的一些较大图像而言相当具有挑战性.因此,对于一些较大的图像,我实际上必须"抽取"(即,仅保留每个第3或第4像素并丢弃其他像素)每个群集以便保持在此限制内.作为这种剔除过程的结果,在一些较大的图像上难以看到剩余的单个稀疏像素.因此,仅出于显示目的,上述图像中的颜色编码像素仅稍微有效地"扩张",以使它们更好地突出.为了叙述,这纯粹是一种整容手术; 虽然有些评论在我的代码中提到了这种扩张,但请放心,它与任何实际重要的计算无关.

一旦识别和标记了聚类,第三步也是最后一步很简单:我只需要在每个图像中采用最大的聚类(在这种情况下,我选择以成员像素的总数来衡量"大小",尽管可以同样可以轻松地使用某种类型的度量来衡量物理范围)并计算该群集的凸包.凸壳然后变成树边界.通过这种方法计算的六个凸包如下面的红色所示:

圣诞树与他们计算的边界

源代码是为Python 2.7.6编写的,它依赖于numpy,scipy,matplotlib和scikit-learn.我把它分成两部分.第一部分负责实际的图像处理:

from PIL import Image
import numpy as np
import scipy as sp
import matplotlib.colors as colors
from sklearn.cluster import DBSCAN
from math import ceil, sqrt

"""
Inputs:

    rgbimg:         [M,N,3] numpy array containing (uint, 0-255) color image

    hueleftthr:     Scalar constant to select maximum allowed hue in the
                    yellow-green region

    huerightthr:    Scalar constant to select minimum allowed hue in the
                    blue-purple region

    satthr:         Scalar constant to select minimum allowed saturation

    valthr:         Scalar constant to select minimum allowed value

    monothr:        Scalar constant to select minimum allowed monochrome
                    brightness

    maxpoints:      Scalar constant maximum number of pixels to forward to
                    the DBSCAN clustering algorithm

    proxthresh:     Proximity threshold to use for DBSCAN, as a fraction of
                    the diagonal size of the image

Outputs:

    borderseg:      [K,2,2] Nested list containing K pairs of x- and y- pixel
                    values for drawing the tree border

    X:              [P,2] List of pixels that passed the threshold step

    labels:         [Q,2] List of cluster labels for points in Xslice (see
                    below)

    Xslice:         [Q,2] Reduced list of pixels to be passed to DBSCAN

"""

def findtree(rgbimg, hueleftthr=0.2, huerightthr=0.95, satthr=0.7, 
             valthr=0.7, monothr=220, maxpoints=5000, proxthresh=0.04):

    # Convert rgb image to monochrome for
    gryimg = np.asarray(Image.fromarray(rgbimg).convert('L'))
    # Convert rgb image (uint, 0-255) to hsv (float, 0.0-1.0)
    hsvimg = colors.rgb_to_hsv(rgbimg.astype(float)/255)

    # Initialize binary thresholded image
    binimg = np.zeros((rgbimg.shape[0], rgbimg.shape[1]))
    # Find pixels with hue<0.2 or hue>0.95 (red or yellow) and saturation/value
    # both greater than 0.7 (saturated and bright)--tends to coincide with
    # ornamental lights on trees in some of the images
    boolidx = np.logical_and(
                np.logical_and(
                  np.logical_or((hsvimg[:,:,0] < hueleftthr),
                                (hsvimg[:,:,0] > huerightthr)),
                                (hsvimg[:,:,1] > satthr)),
                                (hsvimg[:,:,2] > valthr))
    # Find pixels that meet hsv criterion
    binimg[np.where(boolidx)] = 255
    # Add pixels that meet grayscale brightness criterion
    binimg[np.where(gryimg > monothr)] = 255

    # Prepare thresholded points for DBSCAN clustering algorithm
    X = np.transpose(np.where(binimg == 255))
    Xslice = X
    nsample = len(Xslice)
    if nsample > maxpoints:
        # Make sure number of points does not exceed DBSCAN maximum capacity
        Xslice = X[range(0,nsample,int(ceil(float(nsample)/maxpoints)))]

    # Translate DBSCAN proximity threshold to units of pixels and run DBSCAN
    pixproxthr = proxthresh * sqrt(binimg.shape[0]**2 + binimg.shape[1]**2)
    db = DBSCAN(eps=pixproxthr, min_samples=10).fit(Xslice)
    labels = db.labels_.astype(int)

    # Find the largest cluster (i.e., with most points) and obtain convex hull   
    unique_labels = set(labels)
    maxclustpt = 0
    for k in unique_labels:
        class_members = [index[0] for index in np.argwhere(labels == k)]
        if len(class_members) > maxclustpt:
            points = Xslice[class_members]
            hull = sp.spatial.ConvexHull(points)
            maxclustpt = len(class_members)
            borderseg = [[points[simplex,0], points[simplex,1]] for simplex
                          in hull.simplices]

    return borderseg, X, labels, Xslice

归档时间：	11 年，10 月前
查看次数：	22491 次
最近记录：	6 年，10 月前

如何检测圣诞树？

结果

结果: