修复深度图，仍然是黑色图像边框

Question

我正在尝试使用此处描述的方法修复深度图缺失的深度值。总结一下该方法：

1. 将深度图缩小到原始大小的 20%
2. 修复缩小图像中的所有黑色（未知）像素
3. 放大至原始尺寸
4. 将原始图像中的所有黑色像素替换为放大图像中的相应值

超级简单，一切都很好。可以在此处找到显示结果的视频。

但是，我想知道为什么左侧和顶部图像边框仍然是黑色，尽管它们应该被修复（可以在视频中看到）。我的第一个想法是，这可能与边界插值（图像边界外的黑色像素）有关，但我预计这也会发生在其他图像边界上。我的第二个想法是，这是所使用的修复方法（Alexandru Telea 的方法）所特有的，但将其更改为基于纳维-斯托克斯的方法并没有改变结果。

有人可以向我解释为什么会发生这种情况以及如何告诉 OpenCV 修复这些区域（如果可能的话）吗？

提前致谢。

Answer 1

在 @theodore 在http://answers.opencv.org/question/86569/inpainting-depth-map-still-black-image-borders/?comment=86587#comment-86587中询问后，我使用了示例图像测试修复行为。cv::copyMakeBorder看起来它没有正确处理边框，因此可以使用创建边框。

这是带有某种单元测试的扩展版本：

int main(int argc, char* argv[])
{
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png");
    cv::Mat img;
    cv::cvtColor(input, img, CV_BGR2GRAY);

    cv::Mat inpainted;
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)


    double inpaintRadius = 5;
    int makeBorder = 1;
    cv::Mat borderimg;
    cv::copyMakeBorder(img, borderimg, makeBorder, makeBorder, makeBorder, makeBorder, cv::BORDER_REPLICATE);
    cv::imshow("border", borderimg);
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)

    cv::Mat originalEmbedded = borderimg(cv::Rect(makeBorder, makeBorder, img.cols, img.rows));
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorder, makeBorder, img.cols, img.rows));


    cv::Mat diffImage;
    cv::absdiff(img, originalEmbedded, diffImage);
    cv::imshow("embedding correct?", diffImage > 0);

    cv::Mat mask = img == noDepth;
    cv::imshow("mask", mask);


    cv::imshow("input", input);
    cv::imshow("inpainted", inpainted);
    cv::imshow("inpainted from border", inpaintedEmbedded);
    cv::waitKey(0);
    return 0;
} 

如果您认为它是正确的，这是简化版本：

int main(int argc, char* argv[])
{
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png");
    cv::Mat img;
    cv::cvtColor(input, img, CV_BGR2GRAY);

    cv::Mat inpainted;
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)

    double inpaintRadius = 5;
    int makeBorderSize = 1;
    cv::Mat borderimg;
    //cv::copyMakeBorder(img, borderimg, borderSize, borderSize, borderSize, borderSize, cv::BORDER_REPLICATE);
    cv::copyMakeBorder(img, borderimg, makeBorderSize, makeBorderSize, makeBorderSize, makeBorderSize, cv::BORDER_REPLICATE);
    //cv::imshow("border", borderimg);
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)

    // extract the original area without border:
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorderSize, makeBorderSize, img.cols, img.rows));



    cv::imshow("input", input);
    cv::imshow("inpainted from border", inpaintedEmbedded);
    cv::waitKey(0);
    return 0;
}

这是输入：

这是带有边框的输入（边框大小为 5 以更好地可视化效果）：

这是输出：