ARCore – 来自后置 Android 深度摄像头的原始深度数据

Question

我不知道如何从带有后置 ToF 深度传感器的小米红米 Note 8 Pro 获取原始深度数据。

我试过了：

• 来自android 示例的Camera2Format 。没有结果（我并不孤单）
• 从后置摄像头获取 physicalId，如android 开发者博客中所述。没有结果。
• ARCore API无法处理 depth。

我看到几个类似的问题（一，二）没有答案。在 Android 中从深度相机捕获原始深度有那么难吗？

Answer 1

原始深度 API 与全深度 API

在 Google I/O 2021 上，除了现有的完整深度 API 之外，还宣布了 ARCore 1.24 版本的原始深度 API ，自 ARCore 1.18 起开始运行。第二代深度 API 使您能够将来自 iToF 传感器的原始深度数据与来自Depth-from-MotionML 算法的数据合并。结果数据可以通过 16 位缓冲流检索，其中 13 位保留给depth map，3 位保留给confidence map。

在 Google I/O 2022 上，Full Depth API针对运行 ARCore 1.31 的用户进行了更新。现在，每像素全部使用 16 位，允许应用程序表示 65,535 毫米距离内的深度。

如今，ARCore 开发人员可以使用原始深度 API 进行精确测量和重构网格的操作。另一方面，全深度 API 非常适合人物/物体遮挡和场景重新照明目的。

下表代表了三个重要参数：

	完整深度 API (v1.31+)	原始深度 API (v1.24+)	完整深度 API (v1.18+)
准确性	坏的	惊人的	坏的
覆盖范围	所有像素	并非所有像素	所有像素
距离	0 至 65.5 m	0.5至5.0m	0至8.2m

原始深度可在所有支持深度 API 的设备上使用。与完整深度 API 一样，原始深度 API 不需要受支持的硬件深度传感器，例如飞行时间 (iToF) 传感器。但是，原始深度 API 和全深度 API 都利用设备可能具有的任何受支持的硬件传感器。

ARCore Depth API支持的设备列表正在不断增加。请注意最后一栏Comments- 有关深度 API 支持的信息。