如何从两个音频文件中找到偏移量？一个很吵,一个很清楚

Question

我曾经有一个场景,其中用户使用表演者的实时音频捕捉音乐会场景,同时设备正在从音频广播设备下载实时流媒体.我用一个i替换实时嘈杂音频(在录制时捕获)已经流式传输并保存在我的手机中(质量好的音频).现在我正在手动设置音频偏移,同时进行合并,这样我就可以在准确的位置同步音频和视频活动.

现在我想做的是自动化音频同步过程.而不是将视频与给定偏移处的清晰音频合并,我希望通过适当的同步自动合并视频和清晰的音频.

为此,我需要找到我应该用清晰的音频替换嘈杂音频的偏移量.当用户开始录制并停止录制时,我将采取实时音频样本并与实时流式音频进行比较并采取确切的来自那部分音频并在完美时间同步.

有没有人知道如何通过比较两个音频文件并与视频同步来找到偏移量.

Answer 1

这是一个简洁明了的答案.

•这并不容易 - 它将涉及信号处理和数学.
•一个快速的谷歌给了我这个解决方案,包括代码.
•有上述技术的更多信息这里.
•在尝试将其移植到iOS之前,我建议至少获得一个基本的理解.
•我建议您使用iOS上的Accelerate框架进行快速傅里叶变换等
•我不同意在服务器上执行此操作的其他答案 - 设备目前功能非常强大.用户不会介意几秒钟处理看似神奇的事情.

编辑

顺便说一句,我认为值得退一步.虽然像这样的数学和花哨的信号处理可以产生很好的效果,并且做一些非常神奇的事情,但是可能存在算法崩溃的偏远情况(希望不经常).

如果不是复杂的信号处理,还有另一种方法呢？经过一番思考,可能会有.如果您满足以下所有条件:

•您可以控制服务器组件(音频广播设备)
•广播公司了解"真实音频"录制延迟
•广播公司和接收方正在以允许准确时间同步的方式进行通信

...然后计算音频偏移的任务变得相当简单.您可以使用NTP或其他一些更准确的时间同步方法,以便有时间的全局参考点.然后,它就像计算音频流时间码之间的差异一样简单,其中时间码基于全局参考时间.