Android Camera Preview YUV格式在GPU上转成RGB

Question

我已经复制粘贴了我在 stackoverflow 上找到的一些代码，将默认的相机预览 YUV 转换为 RGB 格式，然后将其上传到 OpenGL 进行处理。效果很好，问题是大部分 CPU 都忙于将 YUV 图像转换为 RGB 格式，结果变成了瓶颈。

我想将 YUV 图像上传到 GPU，然后在片段着色器中将其转换为 RGB。我采用了相同的 Java YUV 到 RGB 函数，我发现它在 CPU 上工作，并试图让它在 GPU 上工作。

它变成了一个相当小的噩梦，因为在 Java 和 GPU 上进行计算存在一些差异。首先，预览图像在 Java 中以 byte[] 形式出现，但字节是有符号的，因此可能存在负值。

此外，片段着色器通常处理 [0..1] 浮点值而不是字节。

我确信这是可以解决的，我几乎解决了。但我花了几个小时试图找出我做错了什么，但无法让它发挥作用。

最重要的是，我要求某人编写此着色器函数并最好对其进行测试。对我来说，这将是一项乏味的猴子工作，因为我真的不明白为什么这种转换会以这样的方式工作，而我只是尝试在 GPU 上模仿相同的功能。

这与我在 Java 上使用的功能非常相似： Displaying YUV Image in Android

我在CPU上做了一些工作，比如把1.5*w h bytes的YUV格式变成aw h*YUV，如下：

static public void decodeYUV420SP(int[] rgba, byte[] yuv420sp, int width,
        int height) {
    final int frameSize = width * height;

    for (int j = 0, yp = 0; j < height; j++) {
        int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
        for (int i = 0; i < width; i++, yp++) {
            int y = (int) yuv420sp[yp]+127;
            if ((i & 1) == 0) {
                v = (int)yuv420sp[uvp++]+127;
                u = (int)yuv420sp[uvp++]+127;
            }
            rgba[yp] = 0xFF000000+(y<<16) | (u<<8) | v;
        }
    }
}

我添加了 127，因为字节是有符号的。然后我将 rgba 加载到 OpenGL 纹理中，并尝试在 GPU 上完成其余的计算。

任何帮助都会受到赞赏......

Answer 1

我使用维基百科上的这段代码来计算 GPU 上从 YUV 到 RGB 的转换：

private static int convertYUVtoRGB(int y, int u, int v) {
    int r,g,b;

    r = y + (int)1.402f*v;
    g = y - (int)(0.344f*u +0.714f*v);
    b = y + (int)1.772f*u;
    r = r>255? 255 : r<0 ? 0 : r;
    g = g>255? 255 : g<0 ? 0 : g;
    b = b>255? 255 : b<0 ? 0 : b;
    return 0xff000000 | (b<<16) | (g<<8) | r;
}

我将浮点数转换为 0.0..255.0，然后使用上面的代码。CPU 上的部分是将原始 YUV 像素重新排列成 YUV 矩阵（也显示在 wikipdia 中）。基本上我使用了维基百科代码并做了最简单的浮点<->字节转换来使其工作。像 Y 加 16 或 U 和 V 不加 128 这样的小错误会产生不良结果。所以你需要照顾它。但一旦我使用维基百科代码作为基础，这并不是很多工作。