改善Project Tango平板电脑深度数据的未来前景

Question

我有兴趣使用Project Tango平板电脑使用任意点功能进行3D重建.在当前的SDK版本中,我们似乎可以访问以下数据.

• 1280 x 720 RGB图像.
• 点云,0~10,000点,具体取决于环境.在大多数环境中,这似乎平均在3,000到6,000之间.

我真正想要的是能够识别图像中关键点的3D点.因此,将深度投影到图像平面是有意义的.我做到了这一点,我得到这样的东西:

该过程的问题在于与RGB像素相比,深度点是稀疏的.所以我更进一步,在深度点之间进行插值.首先,我做了Delaunay三角测量,一旦我得到了很好的三角测量,我在每个方面的3个点之间进行插值,得到了一个体面的,相当均匀的深度图像.以下是插值深度有效的区域,强加在RGB图像上.

现在,给定相机模型,可以在深度图像上的任何点处将深度投射回笛卡尔坐标(因为深度图像是这样的,即每个像素对应于原始RGB图像上的点,并且我们具有相机参数的RGB相机).但是,如果您查看三角测量图像并将其与原始RGB图像进行比较,您可以看到深度对图像中所有不感兴趣的点都有效:大多数是空白,无特征的平面.这不仅适用于这一组图像; 这是我对传感器的一种趋势.例如,如果一个人站在传感器前面,他们的轮廓内的深度点很少.

由于传感器的这种特性,如果我在图像上执行视觉特征提取,则具有角落或有趣纹理的大多数区域落在没有相关深度信息的区域中.举个例子:我从Xtion传感器的RGB图像中检测到1000个SIFT关键点,其中960个具有有效的深度值.如果我对这个系统做同样的事情,我会得到80个有效深度的关键点.目前,这种性能水平对我来说是不可接受的.

我可以猜测其根本原因:似乎某种平面提取算法用于获取深度点,而Primesense/DepthSense传感器正在使用更复杂的东西.

所以,无论如何,我的主要问题是:通过改进的RGB-IR图像处理算法,我们能否期望在以后的某个时间点对深度数据进行任何改进？或者这是电流传感器的固有限制？

Answer 1

我来自谷歌的Project Tango团队.很抱歉,您在设备上遇到了深度问题.只是为了确保您的设备处于良好的工作状态,请您在平面墙上测试深度性能.说明如下:https: //developers.google.com/project-tango/hardware/depth-test

即使设备处于良好的工作状态,深度库也可以在具有低红外反射物体,小尺寸物体,高动态范围场景,某些角度的表面和距离大于约4m的物体的场景上返回稀疏深度点.虽然其中一些是深度解决方案的固有限制,但我们正在与深度解决方案提供商合作,尽可能地改进.

附上典型会议室场景的图像和相应的点云.正如您所看到的,1)没有从笔记本电脑屏幕返回深度点(低反射率),桌面对象如贴纸,笔筒等(小物体尺寸),桌子的大部分(表面处于一个角度) ),最右边的房间角落(距离> 4米).

但是当您在设备上移动时,您将开始获得深度点返回.积累深度点是获得更密集点云的必要条件.

另请通过project-tango-hardware-support@google.com向我们发布您的调查结果