我可以使用JavaScript进行某种实时媒体解码吗？

Question

我已经实现了一个MJPEG/AVI1解析器,它从MJPEG文件中提取JPEG格式的帧.

我可以使用<canvas>元素在DOM上绘制带有提取的JPEG文件的图像,我也可以使用context.getImageData从中导出图像像素数据.

我可以制作某种视频流并实时附加这些提取的数据,以便用户可以无延迟地播放吗？我知道我可以使用<canvas>元素手动创建一个类似<video>的UI,但我发现Media Source Extensions目前允许本机<video>标签接收编码的字节流格式.我很好奇我是否能用原始像素数据做到这一点.

Answer 1

这是一个有趣的想法。

所以首先，您需要创建 mp4 初始化段。从那里您可以将解码的 jpg YUV 帧转换为 h.264 帧。然后从帧中创建一个 MSE 片段。但您不需要“编码”为 h.264，您可以使用原始切片，就像本文中概述的那样。

http://www.cardinalpeak.com/blog/worlds-smallest-h-264-encoder/

经过足够的工作，这一切都应该可以在 javascript 中、在浏览器中实现。