图像处理:什么是遮挡？

Question

我正在开发一个图像处理项目,我在许多科学论文中遇到了遮挡这个词,遮挡在图像处理的背景下意味着什么？字典只给出了一般定义.任何人都可以使用图像作为上下文来描述它们吗？

Answer 1

遮挡意味着您希望看到某些内容,但由于您的传感器设置或某些事件的某些属性而无法看到.究竟如何表现自己或如何处理问题将因手头的问题而有所不同.

一些例子:

如果您正在开发一个跟踪对象(人物,汽车......)的系统,那么如果您正在跟踪的对象被另一个对象隐藏(遮挡),则会发生遮挡.就像两个人走过彼此,或者一辆在桥下驾驶的汽车.这种情况下的问题是当对象消失并再次出现时您所做的事情.

如果您使用的是测距相机,那么遮挡是您没有任何信息的区域.一些激光测距相机的工作原理是将激光束发射到您正在检查的表面上,然后使用相机设置识别该激光在所得图像中的撞击点.这给出了该点的3D坐标.然而,由于相机和激光器不一定对准,因此在被检查的表面上可能存在相机可以看到的点,但是激光不能被击中(遮挡).这里的问题更多的是传感器设置问题.

如果场景的某些部分仅由两个摄像机中的一个看到,则在立体成像中也会发生相同的情况.显然,不能从这些点收集范围数据.

可能有更多的例子.

如果你指定了你的问题,那么也许我们可以定义那种情况下的遮挡,以及它带来了什么问题

Answer 2

遮挡问题是计算机视觉一般难以解决的主要原因之一.具体来说,这在对象跟踪中更成问题.见下图:

请注意,这位女士的脸怎么不完全可见的框架0519和0835相对于面部的框架0005.

还有一张图片,其中男人的脸部被隐藏在所有三个框架中.

请注意下图中红色和绿色边界框中的情侣跟踪由于遮挡而在中间框架中丢失(即被他们前面的另一个人部分隐藏),但是当它们变成时在最后一帧中被正确跟踪(几乎)完全可见.

图片提供:南卡罗来纳州斯坦福大学

Answer 3

遮挡是阻挡我们观点的遮挡.在这里显示的图像中,我们可以很容易地看到前排的人.但第二行部分可见,第三行则不太明显.这里,我们说第二行被第一行部分遮挡,第三行被第一行和第二行遮挡.当有很多物体时,我们可以在教室(学生坐在一排),交通路口(等待信号的车辆),森林(树木和植物)等中看到这种遮挡.

Answer 4

除了已经说过的内容之外，我想补充以下内容：

• 对于对象跟踪，处理遮挡的一个重要部分是编写一个有效的成本函数，它将能够区分被遮挡的对象和遮挡它的对象。如果成本函数不好，对象实例（id）可能会交换，并且对象将被错误地跟踪。编写成本函数的方法有很多种，一些方法使用 CNN [1]，而另一些方法更喜欢拥有更多控制和聚合特征[2]。CNN 模型的缺点是，如果您正在跟踪训练集中的对象，而训练集中存在不存在的对象，并且第一个对象被遮挡，则跟踪器可能会锁定错误的对象，并且可能或可能永远无法恢复。这是一个视频展示了这一点。聚合特征的缺点是您必须手动设计成本函数，这可能需要时间，有时还需要高级数学知识。

• 在密集立体视觉重建的情况下，当用左摄像机看到某个区域而用右摄像机看不到该区域时（反之亦然），就会发生遮挡。在视差图中，该遮挡区域显示为黑色（因为该区域中的相应像素在其他图像中没有等效像素）。一些技术使用所谓的背景填充算法，该算法用来自背景的像素填充被遮挡的黑色区域。其他重建方法只是让那些在视差图中没有值的像素，因为来自背景填充方法的像素在这些区域中可能是不正确的。下面是使用密集立体方法获得的 3D 投影点。这些点向右旋转了一点（在 3D 空间中）。在所呈现的场景中，视差图中被遮挡的值未被重建（黑色），由于这个原因，我们在 3D 图像中看到人身后的黑色“阴影”。