在iOS中使用视频作为GL的纹理是否可行？

Question

是否可以在iOS中使用视频(预渲染,使用H.264压缩)作为GL的纹理？

如果可能,该怎么办？以及任何播放质量/帧速率或限制？

Answer 1

从iOS 4.0开始,您可以使用AVCaptureDeviceInput相机作为设备输入,并将其连接到AVCaptureVideoDataOutput您喜欢设置为委托的任何对象.通过为摄像机设置32bpp BGRA格式,委托对象将以一种非常适合立即处理的格式从摄像机接收每个帧glTexImage2D(或者glTexSubImage2D如果设备不支持非二次幂纹理;我认为MBX设备属于这一类).

有一堆帧大小和帧速率选项; 猜测你将不得不根据你想要使用GPU的其他数量进行调整.我发现一个完全无关紧要的场景只有一个纹理四边形显示最新的帧,仅在新的帧到达iPhone 4时重新绘制,能够显示该设备的最大720p 24fps馈送而没有任何明显的延迟.我还没有比那更彻底的基准测试,所以希望其他人可以提供建议.

原则上,根据API,帧可以在扫描行之间返回一些内存中的填充,这意味着在发布到GL之前会对内容进行一些重排,因此您需要为此实现代码路径.在实践中,纯粹凭经验说,似乎iOS的当前版本永远不会返回该形式的图像,因此它实际上不是性能问题.

编辑:它现在非常接近三年后.在此期间苹果发布的iOS 5,6和7随着5他们引进CVOpenGLESTexture和CVOpenGLESTextureCache,这是我们从捕捉设备转换成OpenGL管视频聪明的办法.苹果提供的示例代码在这里,从其中特别有趣的部分是RippleViewController.m,特别是其setupAVCapture与captureOutput:didOutputSampleBuffer:fromConnection:-见线196-329.遗憾的是,这些条款和条件在不附加整个项目的情况下可以防止代码重复,但逐步设置是:

1. 创造一个CVOpenGLESTextureCacheCreate和一个AVCaptureSession;
2. 抢一个适合AVCaptureDevice的视频;
3. AVCaptureDeviceInput使用该捕获设备创建;
4. 附加一个AVCaptureVideoDataOutput并告诉它将您称为样本缓冲区委托.

收到每个样本缓冲区后:

1. 得到CVImageBufferRef它;
2. 用于从CV图像缓冲区CVOpenGLESTextureCacheCreateTextureFromImage获取Y和UV CVOpenGLESTextureRef;
3. 从CV OpenGLES纹理引用获取纹理目标和名称以绑定它们;
4. 在着色器中组合亮度和色度.