是否可以在python中使用pjsua2来实时使用AudioMedia Memory/Buffer-based Playback Port？

Question

我正在使用 python 开发一个基于pjsua2的 SIP 客户端。我有一个基于python 包装器调用的自定义 Call 类，我的代码能够获得活动连接。根据我的习惯onCallMediaState，我可以访问音频会议桥：

    def onCallMediaState(self, prm):
        """
        Manage call media state callbacks.

        - Autoconnect audio
        """
        ci = self.getInfo()

        logger.info("onCallMediaState", media_size=ci.media.size())
        self._print_call_info("onCallMediaState")

        for media_index, media in enumerate(ci.media):
            if media.type == pj.PJMEDIA_TYPE_AUDIO:
                if ci.stateText == "CONFIRMED":
                    """
                    It seems a bug with callbacks. CONFIRMED
                    is send at start and disconnect. So stop
                    record is manual, cannot use DISCONNECTD
                    """
                    logger.info("Call CONFIRMED")

此时，我可以用来media_index录制或播放通话中传入的音频。例如，对于记录：

    def record_call(self, media_index):
        """
        Record the audio incoming from call using default playback device
        """
        record_media = pj.Endpoint_instance().audDevManager().getCaptureDevMedia()
        audio_media = pj.AudioMedia.typecastFromMedia(self.getMedia(media_index))
        port_id = audio_media.getPortId()
        rx_level = audio_media.getRxLevel()
        tx_level = audio_media.getTxLevel()
        filename = "file.wav"
        logger.info("Recording audio media", port_id=port_id, rx_level=rx_level, tx_level=tx_level)
        self._recorder = pj.AudioMediaRecorder()
        self._recorder.createRecorder(filename);
        self._is_recording = True
        record_media.startTransmit(self._recorder)

并且创建了一个 file.wav。或者使用默认音频设备：

    def play_call(self, media_index):
        """
        Play the audio incoming from call using default playback device
        """
        playback_media = pj.Endpoint_instance().audDevManager().getPlaybackDevMedia()
        audio_media = pj.AudioMedia.typecastFromMedia(self.getMedia(media_index))
        port_id = audio_media.getPortId()
        rx_level = audio_media.getRxLevel()
        tx_level = audio_media.getTxLevel()
        logger.info("Playing audio media", port_id=port_id, rx_level=rx_level, tx_level=tx_level)
        audio_media.startTransmit(playback_media)

这两个示例都有效，并且根据PjSUA2 媒体文档和音频媒体文档，可以传输和接收音频、播放和录制 WAV。但根据pjsip Media Port 文档，其他媒体也是可能的。SWIG 包装器似乎不支持它。

最后，我的问题是，是否可以在不记录 wav 文件的情况下管理内存中的音频帧？

我不想将音频写入硬盘，只是在内存中使用它，为此我需要直接原始数据。一种解决方法是写入一个块 wav 文件，然后逐个读取它，但这是一种肮脏的解决方案，开销很大。根据媒体流文档，可以获取回调，但我找不到如何在 Python 中执行此操作。python 包装器中不存在typedef void *MediaPort尝试绕过回调的方法。

Answer 1

我一直在研究同样的问题，但针对的是 pjsua 而不是 pjsua2。最初，pjsip 不支持 pjsua（不确定是否适用于 pjsua2），但我在 GitHub 上发现了一个项目，该项目对 pjproject 2.2 进行了自定义，并带有缓冲流，名为“UFAL-DSG/alex”。

我将自定义移植到“nicolaipre/python3-pjsip-memory-buffer”中的 python3 和 pjproject 2.9。

我知道它可能对你的 pjsua2 没有用，但也许它可以帮助其他人寻找类似的东西。