ARKit 2.0 –扫描3D对象并从中生成3D网格

Question

iOS 12应用程序现在允许我们创建一个ARReferenceObject，并使用它可以可靠地识别实际对象的位置和方向。我们也可以保存完成的.arobject文件。

但是：

ARReferenceObject 仅包含ARKit识别实际对象所需的空间特征信息，而不是该对象的可显示3D重建。

sceneView.session.createReferenceObject(transform: simd_float4x4, 
                                           center: simd_float3, 
                                           extent: simd_float3) { 
   (ARReferenceObject?, Error?) in
        // code
}

func export(to url: URL, previewImage: UIImage?) throws { }

有没有一种方法可以让我们.arobject使用Poisson Surface Reconstruction或从文件中重建数字3D几何（低多边形或高多边形）Photogrammetry？

Answer 1

您用Apple文档中的引语回答了自己的问题：

一个ARReferenceObject只包含承认现实世界对象需要ARKit空间特征信息，而不是对象的可显示3D重建。

如果运行该示例代码，则可以在扫描过程中以及经过测试识别后亲眼看到它为参考对象创建的可视化效果-这只是一个稀疏的3D点云。Apple的API为您提供的功能肯定没有摄影测量法，并且在恢复网格中的真实结构方面没有太多要做。

这并不是说这样的努力是不可能的-有一些第三方在ARKit的基础上演示摄影测量实验。但是a）不使用ARKit 2对象扫描，仅使用来自的原始像素缓冲区和特征点ARFrame，以及2）这些演示中的外推水平将需要不平凡的原始R＆D，因为它远远超出了ARKit本身提供的信息种类。

Answer 2

RealityKit 2.0 | 对象捕获 API

Object Capture API，在 WWDC 2021 上宣布，为您提供期待已久的摄影测量工具。在输出中，我们得到带纹理的 USDZ 模型。

在此处阅读有关摄影测量的信息。

ARKit | 网格重建

使用带有 LiDAR 和 ARKit 3.5/4.0/5.0 的 iOS 设备，您可以轻松重建周围环境的拓扑图。场景重建功能在启动当前 ARSession 后立即开始工作。

Apple LiDAR在 5 米范围内工作。扫描仪可以帮助您提高 ZDepth 通道的质量，以及诸如人物/真实世界物体遮挡、运动跟踪、即时物理接触身体和光线投射等功能。

LiDAR 扫描仪的其他出色特性包括：

• 您可以在光线不足的房间内使用您的设备
• 你可以追踪没有任何特征的纯白色墙壁
• 你几乎可以瞬间检测到飞机

考虑到使用 LiDAR 时扫描对象的质量不如预期。不扫描小细节。那是因为 Apple LiDAR 的分辨率不够高。