iOS:从相机获取逐像素数据

Question

我知道AVFoundation及其捕获支持(虽然不太熟悉).但是,我没有看到任何易于访问的API来获取逐像素数据(每像素RGB或类似数据).我记得在文档中读到这是可能的,但我真的不知道如何.所以:

1. 可以这样做吗？如果是这样,怎么样？
2. 我会获得原始图像数据或JPEG压缩数据吗？

Answer 1

AV Foundation可以为视频或静态相机捕获的图像返回原始字节.您需要使用适当的AVCaptureDevice和相应的AVCaptureDeviceInput和AVCaptureDeviceOutput(AVCaptureVideoDataOutput或AVCaptureStillImageOutput)设置AVCaptureSession.Apple在他们的文档中有一些这个过程的例子,它需要一些样板代码来配置.

配置捕获会话并从摄像机捕获数据后,您将设置-captureOutput:didOutputSampleBuffer:fromConnection:委托方法,其中一个参数将是CMSampleBufferRef.那将是你通过它访问的CVImageBufferRef CMSampleBufferGetImageBuffer().使用CVPixelBufferGetBaseAddress()该像素缓冲器将返回的字节数组用于表示相机帧中的原始像素数据的基地址.这可以是几种不同的格式,但最常见的是BGRA和平面YUV.

我有一个在这里使用它的示例应用程序,但我建议你也看一下我的开源框架,它包装了标准的AV Foundation样板,并且可以很容易地在GPU上执行图像处理.根据您对这些原始相机字节的要求,我可能已经有了一些可以在那里使用的东西,或者比使用CPU上处理更快的方法.