我可以在 MPEG TS 容器中拥有原始视频流吗

Question

我通过网络 (UDP) 收到 MPEG TS 容器。它包含两个流：一个具有 yuv420p 像素格式的 mpeg2video 视频流和一个使用适当的 KLV 格式编码的数据流。

我的接收器程序必须是Python 的。所以，我不能直接使用 FFMPEG 库（如AVFormat、AVCodec）。

现在我的问题如下：

我需要接收视频帧并将它们保存为 RGB 图像作为原始numpy数组。我还需要为每一帧解析相应的KLV数据。视频帧和KLV数据单元之间存在一对一的关系。

我想我用来ffprobe输出数据包，包括来自传入容器的有效负载数据，然后解析输出ffprobe以获取图像和元数据：

$ ffprobe -show_packets -show_data -print_format json udp://127.0.0.1:12345 > test_video.packets.data.json 

这给了我一个输出（在test_video.packets.data.json文件中），例如：

{
    "codec_type": "video",
    "stream_index": 0,
    "pts": 140400,
    "pts_time": "1.560000",
    "dts": 136800,
    "dts_time": "1.520000",
    "duration": 3600,
    "duration_time": "0.040000",
    "size": "21301",
    "pos": "3788012",
    "flags": "K_",
    "side_data_list": [
        {
            "side_data_type": "MPEGTS Stream ID"
        }
    ],
    "data": "... "
},
{
    "codec_type": "data",
    "stream_index": 1,
    "pts": 140400,
    "pts_time": "1.560000",
    "dts": 140400,
    "dts_time": "1.560000",
    "size": "850",
    "pos": "3817904",
    "flags": "K_",
    "side_data_list": [
        {
            "side_data_type": "MPEGTS Stream ID"
        }
    ],
    "data": ".... "
}

我可以从数据包中提取KLV数据并解析它。然而，视频数据包中的数据以 yuv420p 像素格式编码为 mpeg2video 视频。

我的问题：

1. 如何从 mpeg2 编码的有效负载中获取原始像素值？
2. 是否可以使用 ffmpeg 接收原始容器并将其（包含两个流）复制到新容器中，但使用原始视频而不是 mpeg2 视频？如果是，怎么办？命令应该是什么？我尝试了例如：ffmpeg -i udp://127.0.0.1:12345 -map 0:0 -codec rawvideo -pix_fmt rgb24 -map 0:1 -codec copy -f mpegts udp://127.0.0.1:11112，但它再次在视频包的有效负载中给了我 mpeg2 编码的视频数据

Answer 1

MPEG-TS 支持有限数量的视频编解码器。然而，ffmpeg 的复用器甚至会默默地将不支持的流复用为私有数据流。

要复用原始 RGB 流，请转换为rgb24像素格式并使用原始视频编解码器进行编码。

ffmpeg -i udp://127.0.0.1:12345 -map 0:0 -map 0:1 -c copy -c:v rawvideo -pix_fmt rgb24 -f mpegts udp://127.0.0.1:11112