从iOS上的麦克风输入进行语音活动检测

Question

我正在开发一个基于语音的AI的iOS应用程序; 即它意味着从麦克风接收语音输入,将其转换为文本,将其发送到AI代理,然后通过扬声器输出返回的文本.我已经完成了所有工作,但是使用按钮开始和停止录制语音(SpeechKit用于语音识别,API.AI用于AI,亚马逊的Polly用于输出).

我需要的是让麦克风始终打开,并在用户开始和结束谈话时自动开始和停止录制用户的声音.这个应用程序正在开发一个非正统的环境,在那里将无法访问用户的屏幕(但他们将有一个用于录制文本的高端霰弹枪麦克风).

我的研究表明,这个难题被称为"语音活动检测",似乎是整个基于语音的AI系统中最困难的步骤之一.

我希望有人可以提供一些简单的(Swift)代码来自己实现,或者指向我可以在这个项目中实现的一些像样的库/ SDK的方向.

Answer 1

为了获得良好的 VAD 算法实现，您可以使用py-webrtcvad。

它是 C 代码的 Python 接口，您只需从项目中导入 C 文件并从 swift 中使用它们即可。