Kurento 端点命令以录制截屏视频

Question

我正在尝试使用kurento媒体服务器录制网络摄像头，这是我在后端使用的功能：

var startScreen = (sessionId, ws, sdpOffer, callback) => {
    console.log("Start screen")
  getKurentoClient((error, kurentoClient) => {
    if (error) {
      return callback(error)
    }

    kurentoClient.create('MediaPipeline', (error, pipeline) => {
      if (error) {
        return callback(error)
      }


     var recordParams = {
        stopOnEndOfStream: true,
        mediaProfile: 'WEBM_VIDEO_ONLY',
        uri: 'file:///PATH/TO/VIDEO/screen.webm'
      }
      pipeline.create('RecorderEndpoint', recordParams, (error, recorder) => {
        if (error) return callback(error)

        screenRecorder = recorder
        recorder.record(() => console.log("recording"))
        pipeline.create('WebRtcEndpoint', (error, webRtcEndpoint) => {
          if (error) {
            pipeline.release()
            return callback(error)
          }

        screenRtcEndpoint = webRtcEndpoint

          if (candidatesQueue[sessionId]) {
            while(candidatesQueue[sessionId].length) {
              var candidate = candidatesQueue[sessionId].shift()
              webRtcEndpoint.addIceCandidate(candidate)
            }
          }
          webRtcEndpoint.on('OnIceCandidate', (event) => {
            var candidate = kurento.register.complexTypes.IceCandidate(event.candidate)
            ws.send(JSON.stringify({
              id: 'iceCandidateScreen',
              candidate: candidate
            }))
          })

          webRtcEndpoint.processOffer(sdpOffer, (error, sdpAnswer) => {
            if (error) {
              pipeline.release()
              return callback(error)
            }

            sessions[sessionId] = {
              'pipeline': pipeline,
              'webRtcEndpoint': webRtcEndpoint
            }

          webRtcEndpoint.connect(webRtcEndpoint, error => {
            if (error) {
              return callback(error)
            }
            console.log("Connect webrtcEndpoint")
            webRtcEndpoint.connect(screenRecorder, error => {
              if (error) {
                return callback(error)
              }
              console.log("connect to the screen recorder")
            })

            callback(null, sdpAnswer)
            })

          })

          webRtcEndpoint.gatherCandidates((error) => {
            if (error) {
              return callback(error)
            }
          })
        })
      })
    })
  })
}

管道看起来像这样：

mediaPipeline -> recorderEndpoint and recorder.record -> WebRtcEndpoint connect webrtcendpoint -> connect recorder endpoint

在前端，我这样做：

mediaConstrains = {
  audio: false,
  video: {
    mandatory: {
      maxWidth: 640,
      maxHeight: 480,
      maxFrameRate: 15,
      minFrameRate: 1
    }
  }
}

var getMediaConstrains = () => mediaConstrains

var setMediaConstrains = (config) => {
  mediaConstrains = config
}

var startScreen = () => {
  var options = {
    mediaConstrains: mediaConstrains,
    onicecandidate: onIceCandidate,
    configuration: { iceServers: [
        {'url': 'turn:numb.viagenie.ca:3478',
          'username': 'email@email.com',
        'credential': 'passwordrandom'}
    ] }
  }

  webRtcPeerScreen = kurentoUtils.WebRtcPeer.WebRtcPeerSendonly(options, function (error) {
    if (error) {
      return onError(error)
    }

    this.generateOffer(onOfferScreen)
  })
}

这仅适用于无法正常工作的截屏视频，我使用几乎完全相同的代码来录制完全正常工作的网络摄像头，这是停止功能：

var stop = () => {
  if (webRtcPeerWebcam && webRtcPeerScreen) {
    webRtcPeerWebcam.dispose()
    webRtcPeerWebcam = null
    webRtcPeerScreen.dispose()
    webRtcPeerScreen = null

    var message = {
      id: 'stop'
    }
    sendMessage(message)
  }
}

我在前端处理管道的地方，但是，我将此消息发送到后端，然后此 wss 消息调用此函数：

var stop = (sessionId) => {
  if (sessions[sessionId]) {
    var pipeline = sessions[sessionId].pipeline
    pipeline.release()
    delete sessions[sessionId]
    delete candidatesQueue[sessionId]
  }
}

我认为这可能是为什么这不能用于录制截屏视频的问题，或者我可能没有正确连接管道

不管怎样，谢谢！

PD：我在 KMS 日志上发现了这个：

KurentoMediaElementImpl MediaElementImpl.cpp:434 mediaFlowOutStateChange() <kmswebrtcendpoint373> Media N OT Flowing OUT in pad default with type video 

Answer 1

第一个也是最重要的问题是，在 SDP 谈判之前，您正在处理候选人并收集这些候选人。这不起作用，所以我认为你的 webrtc 根本不起作用，无论你如何连接端点。

其次，您在 WebRtcEndpoint 之前创建记录器，然后调用record. 录音机没有连接任何东西，并且没有媒体流入。record我建议您在将 WebRtcEndpoint 连接到记录器并且媒体流动后调用该方法。为此，您可以MediaStateChanged像这样向事件添加侦听器

webRtcEndpoint.on('MediaStateChanged', function (event) {
  if ((event.oldState !== event.newState) && (event.newState === 'CONNECTED')) {
    // Start recording
    recorderEndpoint.record();
  }
});

创建 WebRtcEndpoint 后立即将其连接到记录器。

另外，正如旁注一样，这条线没有意义，因为端点是sendonly

webRtcEndpoint.connect(webRtcEndpoint, error => {

总而言之，这就是我的建议。不要忘记填写您可能发现的任何空白，因为如果不填写回调OnIceCandidate等，它将无法工作。

webRtcEndpoint.on('MediaStateChanged', function (event) {
  if ((event.oldState !== event.newState) && (event.newState === 'CONNECTED')) {
    // Start recording
    recorderEndpoint.record();
  }
});