FFMPEG 吃掉所有内存

Question

可能是最陈词滥调的问题之一，但问题是：所以我有一个 Ubuntu 服务器作为一台独立的机器运行，仅用于处理 FFMPEG 作业。它有 4 个 vCPU、4GB RAM、80GB 存储。我目前正在使用此脚本将视频转换为 HLS 播放列表：https://gist.github.com/maitrungduc1410/9c640c61a7871390843af00ae1d8758e这适用于所有视频，包括从 iPhone 录制的 4K 视频。但是，我正在尝试添加水印，因此我更改了该脚本的第 106 行

从：

cmd+=" ${static_params} -vf scale=w=${widthParam}:h=${heightParam}"

到：

cmd+=" ${static_params} -filter_complex [1]colorchannelmixer=aa=0.5,scale=iw*0.1:-1[wm];[0][wm]overlay=W-w-5:H-h-5[out];[out]scale=w=${widthParam}:h=${heightParam}[final] -map [final]"

现在，这在 Youtube 或其他来源的视频中完美运行，但当我尝试使用 iPhone 上的 4K 视频时，RAM 使用量在不到一分钟的时间内从 250MB 增加到 3.8GB，并使整个过程崩溃。所以我寻找了一些类似的问题：

1. FFmpeg Concat 过滤器高内存使用率
2. https://github.com/jitsi/jibri/issues/269
3. https://superuser.com/questions/1509906/reduce-ffmpeg-memory-usage-when-joining-videos
4. ffmpeg amerge 过滤时出错：无法分配内存

我知道 FFMPEG 需要大量内存消耗，但我不确定在不将流保留在内存中而是实时释放任何内存分配的情况下处理视频的确切方法是什么。即使我们决定在没有水印的情况下工作，它仍然需要大约 1.8GB RAM 来处理 5 秒的 4K 视频，这会产生一个风险，如果我们的用户上传更长的视频，最终会导致服务器崩溃。我考虑过ulimit，但这似乎确实限制了 FFMPEG，而不是编写改进的命令。让我知道如何解决这个问题。谢谢

Answer 1

好吧，我找到了解决方案。问题是 4K 视频的比特率极高，它会加载到您的 RAM 上进行处理，这filter_complex最终会杀死您的进程。为了解决这个问题，我做的第一件事是将输入视频转码为 H264 格式（如果您愿意，您可以设置自定义比特率，但我忽略了这一点）。所以我在这个脚本的第58行之后添加了这个新命令https://gist.github.com/maitrungduc1410/9c640c61a7871390843af00ae1d8758e

ffmpeg -i SOURCE.MOV -c:a aac -ar 48000 -c:v libx264 -profile:v main -crf 19 -preset ultrafast /home/myusername/myfolder/out.mp4

现在我们有了一个新处理的out.mp4. 我们将沿着脚本第 121 行删除它。这样做的原因是为了阻止 FFMPEG 一次性超载所有命令。现在我们将删除第 107 至 109 行并执行以下操作：

filters=[1]colorchannelmixer=aa=0.5,scale=iw*0.1:-1[wm];[0][wm]overlay=W-w-5:H-h-5[out];[out]scale=w=${widthParam}:h=${heightParam}[final]
cmd=""
cmd+=" ${static_params} -filter_complex ${filters} -map [final]"
cmd+=" -b:v ${bitrate} -maxrate ${maxrate%.*}k -bufsize ${bufsize%.*}k -b:a ${audiorate}"
cmd+=" -hls_segment_filename ${target}/${name}_%03d.ts ${target}/${name}.m3u8"
ffmpeg ${misc_params} -i /home/myusername/myfolder/out.mp4 -i mylogo.png ${cmd}

所以现在我们在循环内运行 FFMPEG 来处理每个分辨率的基础输出。这将立即消除内存中所有过滤器的过载。根据您的用例，您甚至可能想要删除第 53 行。

测试

1. 1.2 分钟长的 4K HEVC iPhone 视频 (453MB)

• 转码为 H264 - 内存使用量保持在 750MB
• HLS + 水印 - 内存使用量保持在 430MB 到 1.1GB 之间

2. 1.13 分钟长的 4K HEVC LG HDR 视频 (448MB)

• 转码为 H264 - 内存使用量保持在 800MB
• HLS + 水印 - 内存使用量保持在 380MB 到 850MB 之间

我最后的想法

1. FFMPEG 是一个耗电者。核心/内存需求总数主要取决于您要处理的视频量。就我而言，我们只想支持高达 500MB 的视频，因此我们对 4K 视频处理的测试符合需求，但如果您有更大的视频要求，那么您必须使用更多 RAM/CPU 核心进行测试
2. 并行运行 FFMPEG 从来都不是一个好主意。批量处理视频将确保可用资源的最佳利用，并减少半夜破坏系统的机会
3. 始终在远离网络服务器、数据库、邮件服务器等的隔离计算机中运行 FFMPEG
4. 增加资源并不总是答案。虽然我们倾向于首先得出结论：更多的资源===更多的稳定性并不总是正确的。我已经阅读了足够多的帖子，了解即使具有 32 核的 64GB RAM 也无法跟上 FFMPEG，因此您最好的选择是首先改进您的命令或将命令分成更小的命令，以尽可能有效地处理资源

我不是 FFMPEG 专家，但我认为这些信息会对可能有类似问题的人有所帮助。