OpenCV的Sobel滤镜 - 为什么它看起来如此糟糕,特别是与Gimp相比？

Question

我正在尝试使用OpenCV重建我之前在Gimp中完成的一些预处理.第一阶段是用于边缘检测的Sobel滤波器.它在Gimp中非常有效:

现在这是我对OpenCV的尝试:

opencv_imgproc.Sobel(/* src = */ scaled, /* dst = */ sobel,
  /* ddepth = */ opencv_core.CV_32F,
  /* dx = */ 1, /* dy = */ 1, /* ksize = */ 5, /* scale = */ 0.25,
  /* delta = */ 0.0, /* borderType = */ opencv_core.BORDER_REPLICATE)

它看起来非常糟糕,基本上突出了点而不是轮廓:

那么我做错了什么,或者Gimp如何实现如此好的结果？如何在OpenCV中复制它？

Answer 1

信息

图片使用自https://www.pexels.com/photo/brown-wooden-flooring-hallway-176162/("免费用于个人和商业用途").

解决方案TL; DR

通过Sobel滤波器进行边缘检测需要两个独立的滤波器操作.它不能一步完成.必须组合两个单独步骤的结果以形成边缘检测的最终结果.

信息:(CV_32F)为了简单起见,我使用浮动图像.

代码解决方案:

// Load example image
std::string path = "C:\\Temp\\SobelTest\\Lobby2\\";
std::string filename = "pexels-photo-176162 scaled down.jpeg";
std::string fqn = path + filename;
cv::Mat img = cv::imread(fqn, CV_LOAD_IMAGE_COLOR); // Value range: 0 - 255

// Convert to float and adapt value range (for simplicity)
img.convertTo(img, CV_32F, 1.f/255); // Value range: 0.0 - 1.0

// Build data for 3x3 vertical Sobel kernel
float sobelKernelHorizontalData[3][3] = 
{
    {-1, 0, 1}, 
    {-2, 0, 2}, 
    {-1, 0, 1}
};
// Calculate normalization divisor/factor
float sobelKernelNormalizationDivisor = 4.f;
float sobelKernelNormalizationFactor = 1.f / sobelKernelNormalizationDivisor;

// Generate cv::Mat for vertical filter kernel
cv::Mat sobelKernelHorizontal = 
    cv::Mat(3,3, CV_32F, sobelKernelHorizontalData); // Value range of filter result (if it is used for filtering): 0 - 4*255 or 0.0 - 4.0
// Apply filter kernel normalization
sobelKernelHorizontal *= sobelKernelNormalizationFactor; // Value range of filter result (if it is used for filtering): 0 - 255 or 0.0 - 1.0

// Generate cv::Mat for horizontal filter kernel
cv::Mat sobelKernelVertical;
cv::transpose(sobelKernelHorizontal, sobelKernelVertical);

// Apply two distinct Sobel filtering steps
cv::Mat imgFilterResultVertical;
cv::Mat imgFilterResultHorizontal;
cv::filter2D(img, imgFilterResultVertical, CV_32F, sobelKernelVertical);
cv::filter2D(img, imgFilterResultHorizontal, CV_32F, sobelKernelHorizontal);

// Build overall filter result by combining the previous results
cv::Mat imgFilterResultMagnitude;
cv::magnitude(imgFilterResultVertical, imgFilterResultHorizontal, imgFilterResultMagnitude);

// Write images to HDD. Important: convert back to uchar, otherwise we get black images
std::string filenameFilterResultVertical = path + "imgFilterResultVertical" + ".jpeg";
std::string filenameFilterResultHorizontal = path + "imgFilterResultHorizontal" + ".jpeg";
std::string filenameFilterResultMagnitude = path + "imgFilterResultMagnitude" + ".jpeg";
cv::Mat imgFilterResultVerticalUchar;
cv::Mat imgFilterResultHorizontalUchar;
cv::Mat imgFilterResultMagnitudeUchar;
imgFilterResultVertical.convertTo(imgFilterResultVerticalUchar, CV_8UC3, 255);
imgFilterResultHorizontal.convertTo(imgFilterResultHorizontalUchar, CV_8UC3, 255);
imgFilterResultMagnitude.convertTo(imgFilterResultMagnitudeUchar, CV_8UC3, 255);

cv::imwrite(filenameFilterResultVertical, imgFilterResultVerticalUchar);
cv::imwrite(filenameFilterResultHorizontal, imgFilterResultHorizontalUchar);
cv::imwrite(filenameFilterResultMagnitude, imgFilterResultMagnitudeUchar);

// Show images
cv::imshow("img", img);
cv::imshow("imgFilterResultVertical", imgFilterResultVertical);
cv::imshow("imgFilterResultHorizontal", imgFilterResultHorizontal);
cv::imshow("imgFilterResultMagnitude", imgFilterResultMagnitude);
cv::waitKey();

请注意,此代码与以下内容等效:

 cv::Sobel(img, imgFilterResultVertical, CV_32F, 1, 0, 3, sobelKernelNormalizationFactor);
 cv::Sobel(img, imgFilterResultHorizontal, CV_32F, 0, 1, 3, sobelKernelNormalizationFactor);
 cv::magnitude(imgFilterResultVertical, imgFilterResultHorizontal, imgFilterResultMagnitude);

结果图像

源图像,垂直滤波结果,水平滤波结果,组合滤波结果(幅度)

OpenCV数据类型和值范围的简短信息

• 使用浮动图像(图像类型CV_32F)通常非常有用,有时更简单.但是,使用浮动图像的速度也较慢,因为使用了4倍的数据(与uchar相比).因此,如果您想要正确性和高性能,则必须仅使用uchar图像并始终将正确的除数(参数"alpha")传递给OpenCV函数.但是,这更容易出错,并且可能会发生您的值会溢出而您甚至没有意识到它.
• 8位图像(uchar,CV_8UC)的值范围为0 - 255. 32位浮点图像(CV_32F)的值范围为0.0 - 1.0(大于1.0的值将显示为1.0).使用32位图像通常更容易,因为不太可能发生溢出(但是不良缩放,例如,可能发生超过1.0的值).

计算内核规范化除数

内核的归一化除数可以通过以下公式计算:

f = max(abs(sumNegative), abs(sumPositive))

其中sumNegative是内核中负值的总和,sumPositive是内核中正值的总和.

警告:这不等于float normalizationDivisor = cv::sum(cv::abs(kernel))(0),您必须为此编写自定义函数.

其他提示

• 边缘检测取决于分辨率以及边缘厚度.如果您要检测的边缘相当厚,您可以使用更大的Sobel滤波器内核大小(请参阅大尺寸的Sobel滤波器内核,但不要使用已接受的答案.而是使用Adam Bowen的答案(很可能)是正确的答案).当然,您也可以缩小图像并使用默认的3x3 Sobel滤镜来检测粗边.
• 使用较大的滤波器内核会导致不同的归一化除数/因子.
• Sobel滤波器仅是关于邻域距离的粗略近似.Scharr滤波器代表了对Sobel滤波器的改进,因为它"改善了旋转不变性"[ http://johncostella.com/edgedetect/ ]
• 要保存彩色浮动图像,您必须使用convertTo将它们转换(并缩放)回uchar

彩色图像的边缘检测

在彩色图像上应用边缘检测滤波器通常没有意义.使图像显示哪个颜色通道(B,G,R)对边缘检测有多大贡献并将该结果"编码"成彩色像素是非常特定且不常见的过程.当然,如果您的目标只是让图像看起来"酷",那就继续吧.在这种情况下,大多数规则无论如何都不适用.

更新2018-04-24

多次重复思考我所写的内容并使用图像过滤多年后我不得不承认:有一些非常有效和重要的原因,彩色图像上的边缘检测很有用.

简单地说:如果图像中的边缘在灰色图像中不可见,则需要对彩色图像进行边缘检测.显然,情况是(两个)不同颜色区域之间的边缘,其中颜色是相当可区分的,而它们的灰色值将(大致)相同.这可能不直观地发生,因为人类习惯于以色彩观察.如果您的应用程序想要在这种用例中保持稳健,您应该更喜欢使用颜色而不是灰色图像进行边缘检测.

由于彩色图像上的滤波步骤产生3通道边缘图像,因此必须将结果合理地转换为单个代表性边缘图像.

此转换步骤可以通过多种方式完成: - 简单平均 - 在手动计算图像亮度时,通过加权与加权B,G和R通道(0.11,0.59,0.30)相同的方式进行计算(这将是导致边缘图像已经非常接近人类的感知) - 通过加权计算各个颜色之间人为感知的对比度(可能有一些基于LAB的方法到那里......) - 使用每个像素的最大值来自3个频道 - 等

这取决于你想要达到的目标以及你想要投入多少工作.通常,基于平均或RGB/BGR的加权就足够了.