了解FFMPEG视频编码

Question

从ffmpeg中的编码示例中得到了这个.我可以稍微关注音频编码的作者示例,但我发现自己迷茫地看着C代码(我在块编号中评论,以帮助我引用我正在谈论的内容)...

static void video_encode_example(const char *filename)
{
AVCodec *codec;
AVCodecContext *c= NULL;
int i, out_size, size, x, y, outbuf_size;
FILE *f;
AVFrame *picture;
uint8_t *outbuf, *picture_buf;              //BLOCK ONE
printf("Video encoding\n");

/* find the mpeg1 video encoder */
codec = avcodec_find_encoder(CODEC_ID_MPEG1VIDEO);
if (!codec) {
    fprintf(stderr, "codec not found\n");
    exit(1);                                //BLOCK TWO
}

c= avcodec_alloc_context();
picture= avcodec_alloc_frame();
/* put sample parameters */
c->bit_rate = 400000;
/* resolution must be a multiple of two */
c->width = 352;
c->height = 288;
/* frames per second */
c->time_base= (AVRational){1,25};
c->gop_size = 10; /* emit one intra frame every ten frames */
c->max_b_frames=1;
c->pix_fmt = PIX_FMT_YUV420P;                   //BLOCK THREE

/* open it */
if (avcodec_open(c, codec) < 0) {
    fprintf(stderr, "could not open codec\n");
    exit(1);
}
f = fopen(filename, "wb");
if (!f) {
    fprintf(stderr, "could not open %s\n", filename);
    exit(1);
}                                               //BLOCK FOUR

/* alloc image and output buffer */
outbuf_size = 100000;
outbuf = malloc(outbuf_size);
size = c->width * c->height;
picture_buf = malloc((size * 3) / 2); /* size for YUV 420 */
picture->data[0] = picture_buf;
picture->data[1] = picture->data[0] + size;
picture->data[2] = picture->data[1] + size / 4;
picture->linesize[0] = c->width;
picture->linesize[1] = c->width / 2;
picture->linesize[2] = c->width / 2;              //BLOCK FIVE

/* encode 1 second of video */
for(i=0;i<25;i++) {
    fflush(stdout);
    /* prepare a dummy image */
    /* Y */
    for(y=0;y<c->height;y++) {
        for(x=0;x<c->width;x++) {
            picture->data[0][y * picture->linesize[0] + x] = x + y + i * 3;
        }
    }                                            //BLOCK SIX

    /* Cb and Cr */
    for(y=0;y<c->height/2;y++) {
        for(x=0;x<c->width/2;x++) {
            picture->data[1][y * picture->linesize[1] + x] = 128 + y + i * 2;
            picture->data[2][y * picture->linesize[2] + x] = 64 + x + i * 5;
        }
    }                                           //BLOCK SEVEN

    /* encode the image */
    out_size = avcodec_encode_video(c, outbuf, outbuf_size, picture);
    printf("encoding frame %3d (size=%5d)\n", i, out_size);
    fwrite(outbuf, 1, out_size, f);
}                                              //BLOCK EIGHT

/* get the delayed frames */
for(; out_size; i++) {
    fflush(stdout);
    out_size = avcodec_encode_video(c, outbuf, outbuf_size, NULL);
    printf("write frame %3d (size=%5d)\n", i, out_size);
    fwrite(outbuf, 1, out_size, f);
}                                             //BLOCK NINE

/* add sequence end code to have a real mpeg file */
outbuf[0] = 0x00;
outbuf[1] = 0x00;
outbuf[2] = 0x01;
outbuf[3] = 0xb7;
fwrite(outbuf, 1, 4, f);
fclose(f);
free(picture_buf);
free(outbuf);
avcodec_close(c);
av_free(c);
av_free(picture);
}                                            //BLOCK TEN

这是我可以从作者代码中逐块获得的...

BLOCK ONE:初始化变量和指针.我在ffmpeg源代码中找不到AVFrame结构,所以我不知道它的引用是什么

BLOCK TWO:如果找不到,则使用文件中的编解码器.

BLOCK THREE:设置示例视频参数.我唯一没有得到的就是大小合适.我读到了帧内帧,但我仍然不知道它们是什么.

第四块:打开文件写...

第五场:这是他们真正开始失去我的地方.部分可能是因为我不确切知道AVFrame是什么,但为什么他们只使用3/2的图像大小？

BLOCK SIX&SEVEN:我不明白他们用这个数学想要完成什么.

第八块:看起来像avcodec函数在这里完成所有工作,暂时不关心它.

BLOCK NINE:因为它超出了25帧的循环,我认为它会得到剩余的帧吗？

第十块:关闭,免费留念等......

我知道这是一大堆要混淆的代码,任何输入都会有所帮助.我在工作中受到了影响.提前谢谢你.

Answer 1

正如 HonkyTonk 已经回复的那样，评论说明了这一点：准备一个虚拟图像。我猜您可能对虚拟图像的生成方式感到困惑，特别是如果您不熟悉 YUV/YCbCr 色彩空间。阅读维基百科的基础知识。

许多视频编解码器在 YUV 色彩空间中运行。对于只习惯处理 RGB 的程序员来说，这常常令人困惑。执行摘要是，对于此变体（YUV 4:2:0 平面），图像中的每个像素都会获得一个 Y 样本（请注意，Y 循环遍历每个 (x,y) 对），而每个像素四边形 2x2共享 U/Cb 样本和 V/Cr 样本（请注意，在第 7 块中，迭代超过宽度/2 和高度/2）。

看起来生成的图案是某种渐变。如果要产生已知的变化，请将 Y/Cb/Cr 设置为 0，虚拟图像将全部为绿色。将Cb和Cr设置为128，将Y设置为255，得到白框；将 Y 滑动到 0 可看到黑色；将 Y 设置为中间的任何值，同时将 Cb 和 Cr 保持在 128，以便看到灰色阴影。