根据原始 BGRA 数据创建显示 UIImage 的广告

Question

我正在使用以下代码从相机收集图像数据：

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    // Called when a frame arrives
    // Should be in BGRA format
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    CVPixelBufferLockBaseAddress(imageBuffer, 0);

    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
    size_t width = CVPixelBufferGetWidth(imageBuffer);
    size_t height = CVPixelBufferGetHeight(imageBuffer);
    unsigned char *raw = (unsigned char *)CVPixelBufferGetBaseAddress(imageBuffer);

    // Copy memory into allocated buffer
    unsigned char *buffer = malloc(sizeof(unsigned char) * bytesPerRow * height);
    memcpy(buffer, raw, bytesPerRow * height);
    [self processVideoData:buffer width:width height:height bytesPerRow:bytesPerRow];

    CVPixelBufferUnlockBaseAddress(imageBuffer, 0);
}

该processVideoData:方法如下所示：

- (void)processVideoData:(unsigned char *)data width:(size_t)width height:(size_t)height bytesPerRow:(size_t)bytesPerRow
{
    dispatch_sync(dispatch_get_main_queue(), ^{

        CGDataProviderRef dataProvider = CGDataProviderCreateWithData(NULL, data, bytesPerRow * height, NULL);
        CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
        CGImageRef image = CGImageCreate(width, height, 8, 32, bytesPerRow, colorSpace, kCGBitmapByteOrderDefault | kCGImageAlphaLast, dataProvider, NULL, NO, kCGRenderingIntentDefault);

        // Set layer contents???
        UIImage *objcImage = [UIImage imageWithCGImage:image];
        self.imageView.image = objcImage;

        free(data);
        CGDataProviderRelease(dataProvider);
        CGColorSpaceRelease(colorSpace);
        CGImageRelease(image);
    });
}

没有投诉，没有泄漏，但图像视图中没有显示任何内容，它只是保持空白（是的，我已经检查了插座连接）。以前，我的bitmapInfo设置只是kCGBitmapByteOrderDefault在设置图像视图的图像属性时导致崩溃，但是图像视图会变暗，这在崩溃之前是有希望的。

我总结说崩溃是由于图像位于 BGRA 而不是 BGR 中造成的，因此我将 设为bitmapInfo并kCGBitmapByteOrderDefault | kCGImageAlphaLast解决了崩溃，但没有图像。

我意识到图像看起来会很奇怪，因为CGImageRef需要 RGB 图像，而我将其传递给 BGR，但这只会由于通道交换而导致图像看起来很奇怪。我还注销了我得到的数据，它似乎按如下顺序排列：b:65 g:51 r:42 a:255并且 alpha 通道始终如预期的那样为 255。

如果这很明显，我很抱歉，但我无法弄清楚出了什么问题。

Answer 1

您可以使用此标志组合来实现以下BGRA格式：

kCGBitmapByteOrder32Little | kCGImageAlphaNoneSkipFirst

您应该更喜欢使用此解决方案，与 OpenCV 转换相比，它是一种性能更高的方法。

这是一种更常见的转换sourcePixelFormat方法bitmapInfo：

sourcePixelFormat = CVPixelBufferGetPixelFormatType(pixelBuffer);
bitmapInfo = @{
    @(kCVPixelFormatType_32ARGB) : @(kCGBitmapByteOrder32Big | kCGImageAlphaNoneSkipFirst),
    @(kCVPixelFormatType_32BGRA) : @(kCGBitmapByteOrder32Little | kCGImageAlphaNoneSkipFirst),
}[@(sourcePixelFormat)].unsignedIntegerValue;