深度估计的准确性 - 立体视觉

Question

我正在研究立体视觉,我对这个问题中深度估计的准确性很感兴趣.这取决于几个因素,如:

• 适当的立体声校准(旋转,平移和失真提取),
• 图像分辨率,
• 相机和镜头质量(失真少,色彩捕捉正确),
• 两个图像之间的匹配功能.

假设我们没有低价相机和镜头(没有廉价的网络摄像头等).

我的问题是,我们在这个领域可以实现的深度估算的准确性是多少？谁知道真正的立体视觉系统能够准确地工作？我们可以实现1 mm的深度估算精度吗？

我的问题还针对opencv中实现的系统.您达到了什么准确度？

Answer 1

我想补充说,即使使用昂贵的相机,使用颜色也是一个坏主意 - 只需使用渐变的灰度.一些高端立体相机的制造商(例如Point Grey)过去依赖颜色然后切换到灰色.还要将偏差和方差视为立体匹配误差的两个组成部分.这很重要,因为使用相关立体声,例如,使用大的相关窗口将平均深度(即将世界建模为一组前平行补片)并减小偏差同时增加方差,反之亦然.所以总是需要权衡.

除了上面提到的因素之外,立体声的准确性还取决于算法的具体情况.它取决于验证深度的算法(立体声估计后的重要步骤)并优雅地修补无纹理区域中的孔.例如,考虑来回验证(匹配R到L应该产生与匹配L到R相同的候选),blob噪声消除(通过连通分量算法去除的立体匹配典型的非高斯噪声),纹理验证(无效深度)在质地较弱的区域),唯一性验证(具有单模式匹配分数,没有第二和第三强候选者.这通常是后退和强制验证的简称)等.准确性还取决于传感器噪声和传感器的动态范围.

最后,你必须问自己关于精度作为深度函数的问题,因为d = f*B/z,其中B是相机之间的基线,f是像素的焦距,z是沿光轴的距离.因此,精度对基线和距离的依赖性很强.

Kinect将提供1mm的精度(偏差),具有相当大的方差,最大可达1m左右.然后它急剧下降.由于两个相机在近距离没有足够的重叠,因此Kinect的死区可达50厘米.是的 - Kinect是一款立体相机,其中一台相机由红外投影仪模拟.

我确信使用概率立体声,例如马尔可夫随机场上的信念传播,可以获得更高的准确度.但是这些方法假定了一些关于物体表面光滑度或特定表面方向的强有力的先验.例如,请参见第14页.

Answer 2

问:任何人都知道真正的立体视觉系统能够准确地运行吗？我们可以实现1 mm的深度估算精度吗？

是的,你可以通过立体声装备实现1mm(并且更好)的深度估计精度(哎呀,你可以用一对显微镜进行立体侦察).基于立体声的工业零件检测系统的精度在0.1 mm范围内,是常规使用,至少从1990年代早期开始.要清楚,"基于立体声"是指使用2个或更多个几何分离的传感器的3D重建系统,其中通过对传感器中的3D点的匹配图像进行三角测量来推断点的3D位置.这样的系统可以使用结构化光投影仪来帮助图像匹配,然而,与适当的"基于结构的基于光的3D重建系统"不同,它不依赖于光投影仪本身的校准几何形状.

然而,大多数(可能是全部)这种设计用于高精度的立体系统使用某种形式的结构化照明,或者关于重建形状的几何形状(或两者的组合)的一些先验信息,以便严格限制匹配要点三角形.原因在于,一般来说,人们可以比他们可以匹配的更准确地进行三角测量,因此匹配精度是重建精度的限制因素.

一种直观的方式来了解为什么会出现这种情况的方法是查看立体声重建方程的简单形式:z = fb/d.这里"f"(焦距)和"b"(基线)总结了装备的属性,并且它们通过校准来估计,而"d"(视差)表示相同3D点的两个图像的匹配.

现在,关键的是,校准参数是"全局"的,并且它们是基于在视野和感兴趣的深度范围上进行的许多测量来估计的.因此,假设校准过程是无偏的并且系统近似时不变,则每个测量中的误差在参数估计中被平均.因此,通过大量测量,严格控制钻机光学系统,几何形状和环境(包括振动,温度和湿度变化等),可以非常精确地估算校准参数,即无偏估计值受影响通过传感器分辨率的顺序的不确定性,或者更好,使得在钻机操作的已知空间体积内可以忽略它们的残余误差的影响.

然而,差异是逐点估计:一个表示左图像中的点p匹配(可能)右图像中的点q,并且视差d =(q-p)中的任何误差出现在由fb缩放的z中.这是一次性的事情.更糟糕的是,在所有非平凡的情况下,差异的估计受到被分析对象的(先验未知的)几何和表面属性以及它们与照明的相互作用的影响.这些共谋 - 通过任何使用的匹配算法 - 来降低人们可以实现的重建的实际准确性.结构化照明在这里有所帮助,因为它减少了这种匹配不确定性:基本思想是在物体上投射清晰,聚焦良好的边缘,可以在图像中找到并匹配(通常,具有亚像素精度).有很多结构化的灯光方法,所以我不会在这里详细介绍.但我注意到这是一个使用颜色可以帮助很多的领域.

因此,在实践中你可以实现的取决于你愿意花多少钱(更好的光学,低噪声传感器,刚性材料和钻机机械设计,控制照明),以及你理解的程度并且可以限制您的特定重建问题.