将低延迟音频从一个 CoreAudio 设备路由到另一台

Question

首先，一些背景信息：我正在编写一个 MacOS/X 应用程序，它使用 CoreAudio 从 CoreAudio 设备的输入流接收音频信号，对音频进行一些实时处理，然后将其发送回该 CoreAudio 设备的输出流供用户收听。

此应用程序使用较低级别的 CoreAudio API（即AudioDeviceAddIOProc、AudioDeviceStart等，而不是 AudioUnit）来获取对用户指定的 CoreAudio 设备的独占访问权限，将其设置为所需的采样率 (96kHz)，然后执行其操作。它运行得很好，我对其性能非常满意。

然而，我的程序目前有一个限制——它一次只能使用一个 CoreAudio 设备。我想要做的是扩展我的应用程序，以便用户可以彼此独立地选择他的“输入 CoreAudio 设备”和“输出 CoreAudio 设备”，而不是仅限于使用一个同时提供两个功能的 CoreAudio 设备。输入音频源和输出音频接收器。

我的问题是，推荐的技术是什么？我可以要求两个 CoreAudio 设备设置为相同的采样率，但即使我这样做了，我想我也必须处理各种问题，例如：

• 集成AudioDeviceStart()来自两个设备的单独启动的回调，我怀疑这些回调不会以任何明确定义的顺序调用，甚至可能会彼此同时调用（？）。我需要以某种方式将音频从一个回调传递到另一个回调，理想情况下不会显着增加音频延迟。

• 处理两个设备采样时钟速率的差异。例如，即使两个设备名义上都设置为 96kHz 采样率，我怀疑实际上可能是这样的情况，例如上游设备以 95.99999kHz 生成样本，而下游设备以 96.000001kHz 消耗样本（反之亦然），并且这最终会导致我在给定的渲染回调期间得到“不够”或“太多”的样本来供给下游设备，从而导致故障。

• 我还没有考虑过的其他问题

其他 MacOS/X 程序如何处理这些问题？

Answer 1

不久前，我用 C 语言玩了一个概念验证游乐场音频混音器。虽然一切还没有完成，但事情确实有效。该库使用可用的最低核心音频 API，因此确实可以使用 和 之类的AudioDeviceCreateIOProcID东西AudioObjectAddPropertyListener。

简而言之，这个游乐场允许我使用 MacOS 已知的多个音频设备，并在它们之间路由一个或多个音频流，同时沿途穿过不同类型的“节点”（例如，考虑矩阵混合器节点）。

首先回答大家的问题

AudioDeviceStart()启动的回调将从不同的（随机）线程触发。此外，回调不会按确定的顺序调用。我还发现回调之间的差异可能有很大差异（似乎取决于提供/请求数据的音频设备）。为了解决这个问题，我使用了无锁（即使用原子计数器）环形缓冲区。

您对不同时钟域的担忧是非常真实的。两个以 96KHz 运行的设备将以不同的速度运行。这可能会持续很长一段时间，但最终其中一个将耗尽数据并开始出现故障。如果外部设备没有在外部同步（例如使用 word 或 ptp），它们将在自己的时域中运行。要在不同时域之间传递音频，您必须对音频数据进行异步采样率转换。SRC 需要能够以非常小的比率进行转换并一路进行调整。Soxr就是这方面做得很好的人之一。在 Core Audio 的世界里有一个 VarispeedNode，它可以让你做基本相同的事情。async-src 解决方案的一大缺点是它引入的延迟，但是也许您可以指定“低延迟”。

在您的情况下，不同音频设备的同步将是最大的挑战。就我而言，我发现不同音频设备的回调差异太大，无法选择一个作为“时钟主控”，因此我最终通过仔细计时处理周期的执行来创建一个独立的时域。为此，我使用了低级计时机制，例如mach_wait_until()和mach_absolute_time()（没有太多相关文档）。

聚合设备

然而，可能还有另一种解决方案。查看 CoreAudio 框架中的文档AudioHardware.h，似乎有一种方法可以使用AudioHardwareCreateAggregateDevice(). 这允许您让 MacOS 处理不同音频设备的同步。另请注意kAudioAggregateDeviceIsPrivateKey允许您创建聚合设备而无需将其发布到整个系统的密钥。因此，该设备不会出现在“音频 MIDI 设置”中（我认为）。另请注意，当创建聚合的进程停止运行时，此键会使聚合消失。它可能是也可能不是您所需要的，但这将是使用多个音频设备实现的一种非常可靠的方法。如果我再次编写该软件，我肯定会研究这种同步方式。

其他问题和技巧

一般来说，在处理低延迟音频时，您希望实现尽可能确定的行为。但我相信你知道这一点。

另一个问题是，Apple 开发者网站 ( https://developer.apple.com/documentation/coreaudio/core_audio_functions?language=objc )上没有 Core Audio api 的文档。为此，您必须深入研究 Core Audio 框架的标头，您将在其中找到许多有关使用 API 的有用文档。

在我的机器上，标头位于：/Library/Developer/CommandLineTools/SDKs/MacOSX10.15.sdk/System/Library/Frameworks/CoreAudio.framework/Versions/A/Headers

进一步阅读：

http://atastypixel.com/blog/four-common-mistakes-in-audio-development http://www.rossbencina.com/code/real-time-audio-programming-101-time-waits-for-nothing https://developer.apple.com/library/archive/qa/qa1467/_index.html