使用FFmpeg,如何解码H264数据包

Question

我是FFmpeg的新手,正在努力解码可以作为uint8_t数组获得的H264数据包.

经过多次调查,我认为它应该能够将数组放入如下所示的AVPacket中

AVPacket *avpkt = (AVPacket *)malloc(sizeof(AVPacket) * 1);
av_init_packet(avpkt);  
avpkt->data = ct;   // ct is the array
avpkt->length =....

并通过avcodec_decode_video2()进行解码.代码的一部分就像

...
codec = avcodec_find_decoder(CODEC_ID_H264);
gVideoCodecCtx = avcodec_alloc_context();
gFrame = avcodec_alloc_frame();
avcodec_decode_video2(gVideoCodecCtx, gFrame, &frameFinished, packet);
...

我想我正确设置了所有必需的属性,但这个函数只返回-1 :(

我刚发现-1来自

ret = avctx-> codec-> decode(avctx,picture,got_picture_ptr,avpkt);

在avcodec_decode_video2();

实际上,我想知道的是我是否可以通过avcodec_decode_video2()解码H264数据包(没有RTP头).

我在这里先向您的帮助表示感谢.

---

/////////// 添加

好的,我还在努力寻找解决方案.我现在正在做的是下面的内容

**该RTP流中的H264流由FU-A编码

1. 收到RTP数据包

2. 查看RTP头的第二个字节是否> 0表示它是第一个数据包(可能会被跟踪)

3. 看看下一个RTP数据包的第二个字节是否也> 0,那么这意味着前一个帧是一个完整的NAL,或者如果这个<0,则该数据包应该附加到前一个数据包.

4. 删除数据包的所有RTP头,使其只有FU指示符| FU标题| NAL

5. 尝试用avcodec_decode_video2()播放它

但它只返回-1 .....我是否应该删除FU指示器和标题？

任何建议将非常感谢

提前致谢.

Answer 1

实际上,我想知道的是我是否可以通过avcodec_decode_video2()解码H264数据包(没有RTP头).

如果使用除单个NAL单元模式之外的分组模式,则可能需要在将NAL单元传递到解码器之前预处理RTP有效负载(重新组合分段NALU,分割聚合NALU).流中允许的NAL单元类型(STAP,MTAP,FU)取决于分组化模式.有关打包模式的更多信息,请阅读RFC 6184.

其次,虽然我对FFMPEG并不熟悉,但它可能更像是一般的H.264解码问题:您必须始终使用H.264序列(SPS)和图片参数集(PPS)初始化解码器.能够解码其他帧.你做到了吗？

Answer 2

我认为您无法在没有 RTP 标头的情况下解码 H264 数据包，因为 RTP 标头中嵌入了相当多的视频流信息。同时，我猜想所有视频流信息可能会在RTP视频数据包中重复。所以这也取决于流是如何生成的。

维布杰尔