使用 ffmpeg 将多个音轨和字幕添加到 dash 清单 (mpd)

Question

我正在尝试创建一个网站来播放一些视频。对于每个视频，我将视频、音频和字幕提取到 3 个不同的文件夹中。碰巧一个视频有多个音轨和多个字幕。我做了很多研究，但我不知道如何将它们全部添加到清单中。现在，我使用这个命令：

ffmpeg -f webm_dash_manifest \
-i video1.mp4 -f webm_dash_manifest \
-i video2.mp4 -f webm_dash_manifest \
-i audio1.webm -f webm_dash_manifest \
-i audio2.webm -f webm_dash_manifest \
-i subtitles.vtt \
-c copy -map 0 -map 1 -map 2 -map 3 \
-f webm_dash_manifest -adaptation_sets "id=0,streams=v id=1,streams=a" manifest.mpd

我的两个视频具有不同的分辨率和比特率，但效果很好。但我没有得到任何字幕，并且我的两个音轨被视为具有两种不同比特率的同一个音轨（就像视频一样）。我认为我应该有很多适应集，但我不知道如何创建它们。

我怎样才能以正确的方式创建清单？

Answer 1

几天后，我找到了解决方案。

我的目标是将视频转换为 mpeg-dash 内容，这对于流媒体来说非常有用。

我会将视频编码为 h264，将音频编码为 aac，将字幕编码为 webvtt。这是大型浏览器兼容性的良好设置。vp9 也非常好，但对我来说编码太长了。

所需工具：

• ffmpeg： https: //www.ffmpeg.org/download.html
• mp4dash 和 mp4fragment：https://www.bento4.com/downloads/

假设我们有一个 1080p 视频文件“video.mkv”，其中包含以下流：

• 0：视频流
• 1：音频流，it语言
• 2：音频流，en 语言
• 3：字幕流，it语言
• 4：字幕流，en语言

1. 提取不同的流

1.1 视频

我提取视频流并将其转码为不同的分辨率和比特率：

ffmpeg -i video.mkv -an -sn -c:0 libx264 -x264opts 'keyint=24:min-keyint=24:no-scenecut' -b:v 5300k -maxrate 5300k -bufsize 2650k -vf 'scale=-1:1080' tmp/video/video-1080.mp4

ffmpeg -i video.mkv -an -sn -c:0 libx264 -x264opts 'keyint=24:min-keyint=24:no-scenecut' -b:v 2400k -maxrate 2400k -bufsize 1200k -vf 'scale=-1:720' tmp/video/video-720.mp4

ffmpeg -i video.mkv -an -sn -c:0 libx264 -x264opts 'keyint=24:min-keyint=24:no-scenecut' -b:v 600k -maxrate 600k -bufsize 300k -vf 'scale=-1:360' tmp/video/video-360.mp4

1.2 音频

ffmpeg -i video.mkv -map 0:1 -ac 2 -ab 192k -vn -sn tmp/audio/audio-it.mp4

ffmpeg -i video.mkv -map 0:2 -ac 2 -ab 192k -vn -sn tmp/audio/audio-en.mp4

1.3 字幕

ffmpeg -i video.mkv -map 0:3 -vn -an tmp/subtitle/subtitle-it.vtt
ffmpeg -i video.mkv -map 0:4 -vn -an tmp/subtitle/subtitle-en.vtt

您可以使用“-loglevel warning”选项来查看较少的信息。

2. 视频和音频分片

2.1 视频

mp4fragment tmp/video/video-1080.mp4 tmp/video/f-video-1080.mp4
mp4fragment tmp/video/video-720.mp4 tmp/video/f-video-720.mp4
mp4fragment tmp/video/video-360.mp4 tmp/video/f-video-360.mp4

2.2 音频

mp4fragment tmp/audio/audio-it.mp4 tmp/audio/f-audio-it.mp4
mp4fragment tmp/audio/audio-en.mp4 tmp/audio/f-audio-en.mp4

3. 拆分文件并创建 dash 清单

mp4dash --mpd-name=manifest.mpd tmp/video/f-video-1080.mp4 tmp/video/f-video-720.mp4 tmp/video/f-video-360.mp4 tmp/audio/f-audio-it.mp4 tmp/audio/f-audio-en.mp4 \[+format=webvtt,+language=it\]tmp/subtitle/subtitle-it.vtt \[+format=webvtt,+language=en\]tmp/subtitle/subtitle-en.vtt

您现在可以删除 tmp 文件夹

rm -rf tmp

（以及您的源文件，如果您不再需要它）

您现在已经有了可以流式传输的 mpeg-dash 内容。您必须提供文件服务（允许 cors 并启用字节范围请求）。我使用 Angular 和 rx-player 作为播放器。我可以切换语言、字幕，视频质量自适应客户端带宽！

Rx-player：https://github.com/canalplus/rx-player