我如何通过 ffmpeg 将 Node.js 中生成的画布流式传输到 youtube/任何其他 rtmp 服务器？

Question

我想在 Node.JS 中生成一些图像，将它们编译成视频并将它们流式传输到 youtube。为了生成图像，我使用节点画布模块。这听起来很简单，但我想连续生成图像，并实时传输结果。我对这整件事很陌生，在阅读了互联网上的大量资源后，我正在考虑做的是：

1. 使用 打开 ffmpeg spawn('ffmpeg', ...args)，将输出设置到目标 rtmp 服务器
2. 在画布中生成图像
3. 将canvas的内容转换为buffer，通过stdin写入到ffmpeg进程中
4. 在 YouTube 上欣赏结果

但事情并没有那么简单，不是吗？我看到人们分享他们的代码，涉及在浏览器上运行的客户端 JS，但我希望它是一个 Node 应用程序，这样我就可以从远程 VPS 运行它。有没有一种方法可以让我在不使用浏览器中的 p5 之类的内容并捕获窗口来重新传输它的情况下执行此操作？我的思维过程是否足够？现在我并不真正关心性能/资源使用情况。提前致谢。

编辑：

我花了一点时间，但无法让它工作......这是我的代码：

const { spawn } = require('child_process');
const { createCanvas } = require('canvas');
const fs = require('fs');


const canvas = createCanvas(1920, 1080);
const ctx = canvas.getContext('2d');
const ffmpeg = spawn("ffmpeg",
    ["-re", "-f", "png_pipe", "-vcodec", "png", "-i", "pipe:0", "-vcodec", "h264", "-re", "-f", "flv", "rtmp://a.rtmp.youtube.com/live2/key-i-think"],
    { stdio: 'pipe' })

const randomColor = (depth) => Math.floor(Math.random() * depth)
const random = (min, max) => (Math.random() * (max - min)) + min;

let i = 0;
let drawSomething = function () {
    ctx.strokeStyle = `rgb(${randomColor(255)}, ${randomColor(255)}, ${randomColor(255)})`
    let x1 = random(0, canvas.width);
    let x2 = random(0, canvas.width);
    let y1 = random(0, canvas.height);
    let y2 = random(0, canvas.height);
    ctx.moveTo(x1, y1);
    ctx.lineTo(x2, y2);
    ctx.stroke();

    let out = canvas.toBuffer();
    ffmpeg.stdin.write(out)
    i++;
    if (i >= 30) {
        ffmpeg.stdin.end();
        clearInterval(int)
    };
}

drawSomething();
let int = setInterval(drawSomething, 1000);

我没有收到任何错误，也没有从中获取任何视频数据。我已经设置了一个可以连接的 rtmp 服务器，然后使用 VLC 获取流，但我没有获取任何视频数据。难道我做错了什么？我环顾四周，似乎找不到任何人尝试过这个，所以我真的不知道......

编辑2：显然我走在正确的轨道上，但我的方法只给了我大约2秒的“好”视频，然后它开始变得块状和混乱。我认为我生成图像的方法很可能太慢了。我将尝试使用一些 GPU 加速代码来生成图像，而不是使用画布，这意味着我将一直进行分形，因为我不知道如何用它做任何其他事情。另外，ffmpeg 中更大的缓冲区也可能有帮助

Answer 1

你的做法很好。请记住，无论您要流式传输到什么，都希望源端能够跟上。如果你不能足够快地生成帧，那么各种各样的事情都会出错。（我认为这主要是由于 YouTube 试图放弃太慢的源，并在收到帧后再次拾取，结果再次失败。）

您可以先输出到文件进行测试，然后再尝试流式传输到 RTMP 服务器。