在NodeJS中从MP4中提取RGB帧数据

Question

我见过多个类似的问题，但没有找到满意的答案。

有没有可能从 NodeJS 进程中提取视频数据的方法？更具体地说，我试图从视频中提取帧数据。我正在寻找每一帧的一维 RGB 数据数组。我正在使用，opencv4nodejs但这是极端的矫枉过正，而且我在将库与 Electron 一起使用时遇到了麻烦。

有任何想法吗？

Answer 1

您可能认为 openCV 有点矫枉过正，但事实并非如此。从视频中获取 RGB 数据意味着对该视频进行解码，而对视频进行解码是您可以用计算机（在一般情况下）执行的更复杂的事情之一。如果您希望能够在 mp4 容器内处理标准的 H.264 编码视频，您将需要 GStreamer 或 FFMPEG 及其相关库之类的东西，OpenCV 依赖于 LibAVCodec 和 LibAVFormat 我相信（这些是库FFMPEG 的基础）。

如果没有视频解码库，就没有“简单”的方法来获取任意视频的 RGB 数据，而且这些方法不会是 JS 原生的，它们将是整体的并用 C 编写。

我想说你可以寻找这样的东西（https://github.com/fluent-ffmpeg/node-fluent-ffmpeg），但如果你想要一个文字多维，你实际上可能最好使用 OpenCV RGB 数据数组。如果您正在尝试进行编码/解码/重新混合，请查看 NodeJS 的 FFMPEG 插件。