TrueDepth 相机前景分割，改善遮罩效果

Question

我正在查看一个 Apple 项目，该项目演示了如何使用 TrueDepth 前置摄像头将人与背景分开。你可以在这里看到：

https://developer.apple.com/documentation/avfoundation/cameras_and_media_capture/enhancing_live_video_by_leveraging_truedepth_camera_data

它工作得很好，但是有时如果我旋转我的脸，深度图会丢失一些数据点并剪掉我的脸和耳朵的部分。你可以在这里看到这个例子：https : //streamable.com/cstex

有没有人对如何改进这一点有任何想法？该AVPortraitEffectsMatte对象是完美的，如果你使用AVCapturePhotoOutput，但它似乎并没有对实时视频输入可作为处理时间过长，更新帧。

我注意到Apple的Clips应用程序具有完美的效果，不会夹住我的任何脸或耳朵，并且提供了良好的帧率：https : //streamable.com/5n96h 由于他们的应用程序不会丢失细节，因此不能仅仅依靠关于深度数据。或者，他们正在通过模型运行他们的深度数据以改进它（可能类似于他们用来生成 AVPortraiEffectsMatte 的专有模型）

关于如何获得类似结果或他们如何实现的任何想法？