替换 av_read_frame() 以减少延迟

Question

我正在使用 ffmpeg 实现一个（非常）低延迟的视频流 C++ 应用程序。客户端接收到一个使用 x264 的 zerolatency 预设编码的视频，因此不需要缓冲。如上所述这里，如果你使用av_read_frame（）来读取编码视频流的数据包，你将永远有，因为在做的ffmpeg内部缓冲的至少一个帧的延迟。因此，当我在帧 n+1 发送到客户端后调用av_read_frame () 时，该函数将返回帧 n。

通过设置 AVFormatContext 标志 AVFMT_FLAG_NOPARSE 来摆脱这种缓冲 | AVFMT_FLAG_NOFILLIN如在建议源禁用分组解析，并因此中断解码，如在所提到的源。

因此，我正在编写自己的数据包接收器和解析器。首先，这里是使用av_read_frame ()的工作解决方案（包括一帧延迟）的相关步骤：

AVFormatContext *fctx;
AVCodecContext *cctx;
AVPacket *pkt;
AVFrame *frm;

//Initialization of AV structures
//…

//Main Loop
while(true){

    //Receive packet
    av_read_frame(fctx, pkt);

    //Decode:
    avcodec_send_packet(cctx, pkt);
    avcodec_receive_frame(cctx, frm);

    //Display frame
    //…
}

下面是我的解决方案，它模仿了av_read_frame ()的行为，尽我所能重现它。我能够跟踪av_read_frame ()的源代码到ff_read_packet ()，但是我找不到AVInputformat.read_packet ()的源代码。

int tcpsocket;
AVCodecContext *cctx;
AVPacket *pkt;
AVFrame *frm;
uint8_t recvbuf[(int)10e5];
memset(recvbuf,0,10e5);
int pos = 0;

AVCodecParserContext * parser = av_parser_init(AV_CODEC_ID_H264);
parser->flags |= PARSER_FLAG_COMPLETE_FRAMES;
parser->flags |= PARSER_FLAG_USE_CODEC_TS;

//Initialization of AV structures and the tcpsocket
//…

//Main Loop
while(true){

    //Receive packet
    int length = read(tcpsocket, recvbuf, 10e5);
    if (length >= 0) {

        //Creating temporary packet
        AVPacket * tempPacket = new AVPacket;
        av_init_packet(tempPacket);
        av_new_packet(tempPacket, length);
        memcpy(tempPacket->data, recvbuf, length);
        tempPacket->pos = pos;
        pos += length;
        memset(recvbuf,0,length);

        //Parsing temporary packet into pkt
        av_init_packet(pkt);
        av_parser_parse2(parser, cctx,
            &(pkt->data), &(pkt->size),
            tempPacket->data, tempPacket->size,
            tempPacket->pts, tempPacket->dts, tempPacket->pos
            );

        pkt->pts = parser->pts;
        pkt->dts = parser->dts;
        pkt->pos = parser->pos;

        //Set keyframe flag
        if (parser->key_frame == 1 ||
            (parser->key_frame == -1 &&
            parser->pict_type == AV_PICTURE_TYPE_I))
            pkt->flags |= AV_PKT_FLAG_KEY;
        if (parser->key_frame == -1 && parser->pict_type == AV_PICTURE_TYPE_NONE && (pkt->flags & AV_PKT_FLAG_KEY))
            pkt->flags |= AV_PKT_FLAG_KEY;
        pkt->duration = 96000; //Same result as in av_read_frame()

        //Decode:
        avcodec_send_packet(cctx, pkt);
        avcodec_receive_frame(cctx, frm);
        //Display frame
        //…
    }
}

我在两种解决方案中都在avcodec_send_packet ()之前检查了结果数据包 ( pkt )的字段。据我所知，它们完全相同。唯一的区别可能是pkt->data的实际内容。我的解决方案可以很好地解码 I 帧，但 P 帧中的引用似乎被破坏，导致大量伪像和错误消息，例如“无效级别前缀”、“解码 MB xx 时出错”等。

如有任何提示，我将不胜感激。

编辑1：我暂时开发了一种解决方法：在视频服务器中，在发送包含帧编码数据的数据包后，我发送一个仅包含标记数据包开始和结束的分隔符的虚拟数据包。这样，我通过av_read_frame ()推送实际的视频数据帧。我在av_frame_read ()之后立即丢弃虚拟数据包。

编辑 2：由 rom1v在这里解决，如他对这个问题的评论中所写。

Answer 1

av_parser_parse2 () 不一定一次性消耗掉你的tempPacket 。您必须在另一个循环中调用它并检查其返回值，就像API 文档中一样。