同步视频和音频(最好没有 JavaScript)

use*_*412 5 html javascript audio video

如果我有 HTML5videoaudio元素,是否有一种干净的方法来使它们保持同步?它们应该像包含音轨的视频文件一样,因此手动推进一个音轨应该会同时带来另一个音轨。假设这两个曲目的持续时间相同。

我想要一个可以跨浏览器工作的解决方案,但我并不特别关心它是否可以在旧版浏览器上工作。如果可能的话,最好避免使用 JavaScript。否则,一个极其简单的 JavaScript 库将是最好的——它只要求同步哪些曲目并处理其余的事情。

我研究过mediagroup ...但看起来它只适用于 Safari。我研究过audioTracks ...但用户必须在Firefox 中启用该功能。

我研究了Popcorn.js,它是一个 JavaScript 框架,似乎是为这个任务设计的......但看起来一年多来没有任何活动。除此之外,我能找到的唯一演示是将文本或幻灯片等内容同步到视频,而不是音频到视频。

gue*_*314 3

您可以使用Promise.all(),fetch()将媒体资源检索为Blob,URL.createObjectURL()来创建Blob URLof 资源;canplaythrough事件并Array.prototype.every()检查每个资源是否可以播放;.play()当两个资源都可以播放时调用每个资源

我在提问中没有说清楚。我的意思是两个轨道应该保持同步,就像播放带有音频的常规视频文件一样。

一种方法是创建一个时间戳变量,当设置的变量大于最小延迟时利用seeked事件更新元素,以防止递归调用。.currentTime.currentTime

<!DOCTYPE html>
<html>
<head>
</head>
<body>
  <button>load media</button>
  <br>
  <div id="loading" style="display:none;">loading media...</div>
  <script>
    var mediaBlobs = [];
    var mediaTypes = [];
    var mediaLoaded = [];
    var button = document.querySelector("button");
    var loading = document.getElementById("loading");
    var curr = void 0;
    var loadMedia = () => {
      loading.style.display = "block";
      button.setAttribute("disabled", "disabled");
      return Promise.all([
        // `RETURN` by smiling cynic are licensed under a Creative Commons Attribution 3.0 Unported License
        fetch("https://ia600305.us.archive.org/30/items/return_201605/return.mp3")
      , fetch("http://nickdesaulniers.github.io/netfix/demo/frag_bunny.mp4")
        ])
        .then(responses => responses.map(media => ({
          [media.headers.get("Content-Type").split("/")[0]]: media.blob()
        })))
        .then(data => {
          for (var currentMedia = 0; currentMedia < data.length; currentMedia++) {
            (function(i) {
              var type = Object.keys(data[i])[0];
              mediaTypes.push(type);
              console.log(data[i]);
              var mediaElement = document.createElement(type);
              mediaElement.id = type;
              var label = document.createElement("label");
              mediaElement.setAttribute("controls", "controls");
              mediaElement.oncanplaythrough = () => {
                mediaLoaded.push(true);
                if (mediaLoaded.length === data.length 
                   && mediaLoaded.every(Boolean)) {
                    loading.style.display = "none";
                    for (var track = 0; track < mediaTypes.length; track++) {
                      document.getElementById(mediaTypes[track]).play();
                      console.log(document.getElementById(mediaTypes[track]));
                    }
                }
              }
              var seek = (e) => {
                if (!curr || new Date().getTime() - curr > 20) {
                  document.getElementById(
                    mediaTypes.filter(id => id !== e.target.id)[0]
                  ).currentTime = e.target.currentTime;
                  curr = new Date().getTime();
                }
              }
              mediaElement.onseeked = seek;
              mediaElement.onended = () => {
                for (var track = 0; track < mediaTypes.length; track++) {
                  document.getElementById(mediaTypes[track]).pause()
                }
              }
              mediaElement.ontimeupdate = (e) => {
                e.target.previousElementSibling
                .innerHTML = `${mediaTypes[i]} currentTime: ${Math.round(e.target.currentTime)}<br>`;
              }
              data[i][type].then(blob => {
                mediaBlobs.push(URL.createObjectURL(blob));
                mediaElement.src = mediaBlobs[mediaBlobs.length - 1];
                document.body.appendChild(mediaElement);
                document.body.insertBefore(label, mediaElement);
              })
            }(currentMedia));
          }
        })
    };
    button.addEventListener("click", loadMedia);
  </script>
</body>
</html>
Run Code Online (Sandbox Code Playgroud)

plnkr http://plnkr.co/edit/r51oh7KsZv8DEYhpRJlL?p=preview