小编ind*_*ohn的帖子

我有兴趣使用Project Tango平板电脑使用任意点功能进行3D重建.在当前的SDK版本中,我们似乎可以访问以下数据.

• 1280 x 720 RGB图像.
• 点云,0~10,000点,具体取决于环境.在大多数环境中,这似乎平均在3,000到6,000之间.

我真正想要的是能够识别图像中关键点的3D点.因此,将深度投影到图像平面是有意义的.我做到了这一点,我得到这样的东西:

该过程的问题在于与RGB像素相比,深度点是稀疏的.所以我更进一步,在深度点之间进行插值.首先,我做了Delaunay三角测量,一旦我得到了很好的三角测量,我在每个方面的3个点之间进行插值,得到了一个体面的,相当均匀的深度图像.以下是插值深度有效的区域,强加在RGB图像上.

现在,给定相机模型,可以在深度图像上的任何点处将深度投射回笛卡尔坐标(因为深度图像是这样的,即每个像素对应于原始RGB图像上的点,并且我们具有相机参数的RGB相机).但是,如果您查看三角测量图像并将其与原始RGB图像进行比较,您可以看到深度对图像中所有不感兴趣的点都有效:大多数是空白,无特征的平面.这不仅适用于这一组图像; 这是我对传感器的一种趋势.例如,如果一个人站在传感器前面,他们的轮廓内的深度点很少.

由于传感器的这种特性,如果我在图像上执行视觉特征提取,则具有角落或有趣纹理的大多数区域落在没有相关深度信息的区域中.举个例子:我从Xtion传感器的RGB图像中检测到1000个SIFT关键点,其中960个具有有效的深度值.如果我对这个系统做同样的事情,我会得到80个有效深度的关键点.目前,这种性能水平对我来说是不可接受的.

我可以猜测其根本原因:似乎某种平面提取算法用于获取深度点,而Primesense/DepthSense传感器正在使用更复杂的东西.

所以,无论如何,我的主要问题是:通过改进的RGB-IR图像处理算法,我们能否期望在以后的某个时间点对深度数据进行任何改进？或者这是电流传感器的固有限制？