如何使用openCV对模糊数字进行分类

Question

我想从这种图片中捕捉数字.

我尝试从以下链接进行多尺度匹配.

http://www.pyimagesearch.com/2015/01/26/multi-scale-template-matching-using-python-opencv/

我想知道的只是红色数字.但问题是,openCV识别/匹配模板的红色数字模糊.是否有其他可能的方法来检测黑色背景上的这个红色数字？

Answer 1

数字分类

您在评论中澄清说您已经隔离了图像预检测的数字部分,因此我将从该假设开始.

也许您可以通过将其视为手写数字来近似透视效果和数字的"模糊性".在这种情况下,有一个名为mnist的分类训练的手写数字的着名数据集.

Yann LeCun在这里用手写的数据集列举了这个数据集的最新技术.

在频谱的最后,卷积神经网络产生了极低的错误率(1%误差的分数).对于更简单的解决方案,使用去偏移,噪声消除,模糊和2像素移位的k-最近邻居产生大约1%的误差,并且实现起来要快得多.Python opencv有一个实现.具有偏斜校正的神经网络和支持向量机也具有一些非常令人印象深刻的性能.

请注意,卷积网络没有您选择自己的功能,因此这里重要的颜色差异信息可能仅用于缩小感兴趣区域.定义特征空间的其他方法可能更精确地包含已知的色差.

Python在很棒的包sklearn中支持很多机器学习技术 - 这里是应用于mnist的sklearn的例子.如果您正在寻找python中机器学习的教程解释,那么sklearn自己的教程非常详细

来自sklearn链接:

如果您学习使用此方法,那些是您尝试分类的项目.为了强调开始训练这些基于机器学习的分类器是多么容易,这里是链接的sklearn包中的示例代码的简略部分:

digits = datasets.load_digits() # built-in to sklearn!
data = digits.images.reshape((len(digits.images), -1))

# Create a classifier: a support vector classifier
classifier = svm.SVC(gamma=0.001)

# We learn the digits on the first half of the digits
classifier.fit(data[:n_samples / 2], digits.target[:n_samples / 2])

如果您已经与openCv结合(可能是因为您希望将来移植到实时系统),opencv3/python 也有关于这个确切主题的教程!他们的演示使用k-nearest-neighbor(在LeCun页面中列出),但是他们也有svms和sklearn中的许多其他工具.他们使用SVM的ocr页面使用了deskewing,这可能对您的问题中的透视效果很有用:

更新:我在您的图像上使用了上面概述的开箱即用的滑雪图像方法,严重裁剪,并对其进行了正确分类.一个很多更多的测试将需要看看这是rhobust实践

^^这个微小的图像是您在问题中嵌入的8x8裁剪图像.mnist是8x8图像.这就是为什么它在不到一秒的时间里用在skimage中的默认参数进行训练.

我通过使用将其缩放到mnist范围来将其转换为正确的格式

number = scipy.misc.imread("cropped_image.png")
datum  =  (number[:,:,0]*15).astype(int).reshape((64,))
classifier.predict(datum) # returns 8

我没有改变示例中的任何其他内容; 在这里,我只使用第一个通道进行分类,没有智能特征计算.15看起来对我来说是正确的; 你需要调整它以达到目标范围或(理想情况下)提供你自己的训练和测试集

物体检测

如果您没有隔离图像中的数字,则需要一个物体探测器.关于这个问题的文献空间是巨大的,我不会开始那个兔子洞(谷歌中提琴和琼斯,也许？)这个博客涵盖了python中"滑动窗口"探测器的基本原理.Adrian Rosebrock看起来他甚至都是SO的贡献者,那个页面有一些很好的例子,基于opencv和基于python的对象探测器相当教化(你实际上在你的问题中链接到那个博客,我没有意识到).

简而言之,在整个图像中对窗口进行分类,并选择最有信心的窗口.缩小与感兴趣区域的搜索空间当然会在所有性能领域产生巨大的改进