使用webrtc和文本轨道传递与视频帧同步的实时元数据

Question

我正在使用WebRTC(win c ++本机客户端)向对等方(在Chrome中托管)广播实时视频.
目标:沿每个视频帧发送元数据(帧级别的元数据更改).

1. 是否可以在文本轨道中发送元数据以供对等端的javascript使用？
   
2. 如果没有,是否有另一种方法可以将WebRTC实时视频与元数据同步？
   例如,使用WebRTC DataChannel/WebSockets？

Answer 1

不。

目前，WebRTC 实现（或规范）不具备同步功能，也不具备逐帧同步数据与视频的能力。这是未来 WebRTC 规范正在考虑的事情。

有些供应商在他们的 SDK 中提供了这样的功能，但这仅限于他们的本机 SDK，并且不能在他们基于浏览器的 JS SDK 中工作。