从ARKit获取RGB"CVPixelBuffer"

Question

我正试图CVPixelBuffer从Apple的ARKit 获得RGB色彩空间.在我获取实例的func session(_ session: ARSession, didUpdate frame: ARFrame)方法ARSessionDelegate中ARFrame.在页面上显示使用金属的AR体验我发现此像素缓冲区位于YCbCr(YUV)颜色空间中.

我需要将其转换为RGB色彩空间(我实际需要CVPixelBuffer而不是UIImage).我在iOS上找到了一些关于颜色转换的东西,但我无法在Swift 3中使用它.

Answer 1

有几种方法可以做到这一点,取决于你所追求的.实时执行此操作的最佳方法(比如,将缓冲区渲染到视图)是使用自定义着色器将YCbCr CVPixelBuffer转换为RGB.

使用Metal: 如果您创建一个新项目,选择"Augmented Reality App",并为内容技术选择"Metal",生成的项目将包含进行此转换所需的代码和着色器.

使用OpenGL: Apple 的GLCameraRipple示例使用AVCaptureSession捕获相机,并显示如何将生成的CVPixelBuffer映射到GL纹理,然后在着色器中将其转换为RGB(同样,在示例中提供).

非实时:这个stackoverflow问题 的答案解决了将缓冲区转换为UIImage的问题,并提供了一种非常简单的方法.

Answer 2

我也纠结这个问题好几天了。关于转换CVPixelBuffer为UIImage.

最后，以下代码片段非常适合我，将 YUV 图像转换为 JPG 或 PNG 文件格式，然后您可以将其写入应用程序中的本地文件。

func pixelBufferToUIImage(pixelBuffer: CVPixelBuffer) -> UIImage {
    let ciImage = CIImage(cvPixelBuffer: pixelBuffer)
    let context = CIContext(options: nil)
    let cgImage = context.createCGImage(ciImage, from: ciImage.extent)
    let uiImage = UIImage(cgImage: cgImage!)
    return uiImage
}