jpeg的色度子采样算法

Question

我正在尝试编写一个jpeg编码器,我很蠢地创建了收集适当的Y,Cb和Cr颜色分量的算法,以便传递给执行变换的方法.

据我所知,四个最常见的子采样变体的设置如下(我可以离开这里):

• 4:4:4 - 8x8像素的MCU块,每个像素中包含Y,Cb和Cr.
• 4:2:2 - 一个16x8像素的MCU块,每个像素为Y,每两个像素为Cb,Cr
• 4:2:0 - 一个16x16像素的MCU块,每两个像素为Y,每四个像素为Cb,Cr

说明到目前为止,我已经找到了laout的有最明确的描述在这里

我不明白的是如何以正确的顺序收集这些组件以作为8x8块进行转换和量化.

有人能够写一个例子,(伪代码可以,我确定,C#甚至更好),如何分组变换的字节？

我将包含我正在运行的当前不正确的代码.

/// <summary>
/// Writes the Scan header structure
/// </summary>
/// <param name="image">The image to encode from.</param>
/// <param name="writer">The writer to write to the stream.</param>
private void WriteStartOfScan(ImageBase image, EndianBinaryWriter writer)
{
    // Marker
    writer.Write(new[] { JpegConstants.Markers.XFF, JpegConstants.Markers.SOS });

    // Length (high byte, low byte), must be 6 + 2 * (number of components in scan)
    writer.Write((short)0xc); // 12

    byte[] sos = {
        3, // Number of components in a scan, usually 1 or 3
        1, // Component Id Y
        0, // DC/AC Huffman table 
        2, // Component Id Cb
        0x11, // DC/AC Huffman table 
        3, // Component Id Cr
        0x11, // DC/AC Huffman table 
        0, // Ss - Start of spectral selection.
        0x3f, // Se - End of spectral selection.
        0 // Ah + Ah (Successive approximation bit position high + low)
    };

    writer.Write(sos);

    // Compress and write the pixels
    // Buffers for each Y'Cb Cr component
    float[] yU = new float[64];
    float[] cbU = new float[64];
    float[] crU = new float[64];

    // The descrete cosine values for each componant.
    int[] dcValues = new int[3];

    // TODO: Why null?
    this.huffmanTable = new HuffmanTable(null);

    // TODO: Color output is incorrect after this point. 
    // I think I've got my looping all wrong.
    // For each row
    for (int y = 0; y < image.Height; y += 8)
    {
        // For each column
        for (int x = 0; x < image.Width; x += 8)
        {
            // Convert the 8x8 array to YCbCr
            this.RgbToYcbCr(image, yU, cbU, crU, x, y);

            // For each component
            this.CompressPixels(yU, 0, writer, dcValues);
            this.CompressPixels(cbU, 1, writer, dcValues);
            this.CompressPixels(crU, 2, writer, dcValues);
        }
    }

    this.huffmanTable.FlushBuffer(writer);
}

/// <summary>
/// Converts the pixel block from the RGBA colorspace to YCbCr.
/// </summary>
/// <param name="image"></param>
/// <param name="yComponant">The container to house the Y' luma componant within the block.</param>
/// <param name="cbComponant">The container to house the Cb chroma componant within the block.</param>
/// <param name="crComponant">The container to house the Cr chroma componant within the block.</param>
/// <param name="x">The x-position within the image.</param>
/// <param name="y">The y-position within the image.</param>
private void RgbToYcbCr(ImageBase image, float[] yComponant, float[] cbComponant, float[] crComponant, int x, int y)
{
    int height = image.Height;
    int width = image.Width;

    for (int a = 0; a < 8; a++)
    {
        // Complete with the remaining right and bottom edge pixels.
        int py = y + a;
        if (py >= height)
        {
            py = height - 1;
        }

        for (int b = 0; b < 8; b++)
        {
            int px = x + b;
            if (px >= width)
            {
                px = width - 1;
            }

            YCbCr color = image[px, py];
            int index = a * 8 + b;
            yComponant[index] = color.Y;
            cbComponant[index] = color.Cb;
            crComponant[index] = color.Cr;
        }
    }
}

/// <summary>
/// Compress and encodes the pixels. 
/// </summary>
/// <param name="componantValues">The current color component values within the image block.</param>
/// <param name="componantIndex">The componant index.</param>
/// <param name="writer">The writer.</param>
/// <param name="dcValues">The descrete cosine values for each componant</param>
private void CompressPixels(float[] componantValues, int componantIndex, EndianBinaryWriter writer, int[] dcValues)
{
    // TODO: This should be an option.
    byte[] horizontalFactors = JpegConstants.ChromaFourTwoZeroHorizontal;
    byte[] verticalFactors = JpegConstants.ChromaFourTwoZeroVertical;
    byte[] quantizationTableNumber = { 0, 1, 1 };
    int[] dcTableNumber = { 0, 1, 1 };
    int[] acTableNumber = { 0, 1, 1 };

    for (int y = 0; y < verticalFactors[componantIndex]; y++)
    {
        for (int x = 0; x < horizontalFactors[componantIndex]; x++)
        {
            // TODO: This can probably be combined reducing the array allocation.
            float[] dct = this.fdct.FastFDCT(componantValues);
            int[] quantizedDct = this.fdct.QuantizeBlock(dct, quantizationTableNumber[componantIndex]);
            this.huffmanTable.HuffmanBlockEncoder(writer, quantizedDct, dcValues[componantIndex], dcTableNumber[componantIndex], acTableNumber[componantIndex]);
            dcValues[componantIndex] = quantizedDct[0];
        }
    }
}

此代码是我在Github上编写的开源库的一部分

Answer 1

JPEG 颜色子采样可以通过简单而实用的方式实现，无需太多代码。基本思想是，与亮度变化相比，您的眼睛对颜色变化不太敏感，因此通过丢弃一些颜色信息，JPEG 文件可以小得多。对颜色信息进行二次采样的方法有很多，但 JPEG 图像倾向于使用 4 种变体：无、1/2 水平、1/2 垂直和 1/2 水平+垂直。还有其他 TIFF/EXIF 选项，例如子采样颜色的“中心点”，但为了简单起见，我们将使用总和技术的平均值。

在最简单的情况下（无子采样），每个 MCU（最小编码单元）是由 3 个分量（Y、Cb、Cr）组成的 8x8 像素块。图像以 8x8 像素块进行处理，其中 3 个颜色分量被分离，通过 DCT 变换并按顺序写入文件（Y、Cb、Cr）。在所有二次采样的情况下，DCT 块始终由 8x8 系数或 64 个值组成，但这些值的含义因颜色二次采样而异。

下一个最简单的情况是在一维（水平或垂直）上二次采样。我们在此示例中使用 1/2 水平子采样。MCU 现在为 16 像素宽 x 8 像素高。每个 MCU 的压缩输出现在将是 4 个 8x8 DCT 块（Y0、Y1、Cb、Cr）。Y0 表示左侧 8x8 像素块的亮度值，Y1 表示右侧 8x8 像素块的亮度值。Cb 和 Cr 值均为 8x8 块，基于水平像素对的平均值。我找不到任何好的图像可以在这里插入，但一些伪代码可以派上用场。

（更新：可能代表二次采样的图像：）

这是一个简单的循环，它对 1/2 水平情况进行颜色子采样：

unsigned char ucCb[8][8], ucCr[8][8];
int x, y;

for (y=0; y<8; y++)
{
   for (x=0; x<8; x++)
   {
      ucCb[y][x] = (srcCb[y][x*2] + srcCb[y][(x*2)+1] + 1)/2; // average each horiz pair
      ucCr[y][x] = (srcCr[y][x*2] + srcCr[y][(x*2)+1] + 1)/2;
   } // for x
} // for y

如您所见，没有太多内容。对源图像中的每对 Cb 和 Cr 像素进行水平平均以形成新的 Cb/Cr 像素。然后以与往常相同的形式对它们进行 DCT 变换、之字形和编码。

最后，对于 2x2 子样本情况，MCU 现在为 16x16 像素，写入的 DCT 块将为 Y0、Y1、Y2、Y3、Cb、Cr。其中Y0代表左上8x8亮度像素，Y1代表右上，Y2代表左下，Y3代表右下。本例中的 Cb 和 Cr 值表示已一起平均的 4 个源像素 (2x2)。以防万一您想知道，颜色值在 YCbCr 颜色空间中一起平均。如果您在 RGB 色彩空间中对像素进行平均，则它将无法正常工作。

仅供参考 - Adob​​e 支持 RGB 色彩空间（而不是 YCbCr）中的 JPEG 图像。这些图像无法使用颜色二次采样，因为 R、G 和 B 同等重要，在此色彩空间中对它们进行二次采样会导致更严重的视觉伪影。