在 Objective C 中创建用于实时音视频广播的 rtsp 客户端

Question

我正在尝试创建一个实时广播音频和视频的 RTSP 客户端。我在链接http://www.gdcl.co.uk/downloads.htm修改了 iOS 代码，并且能够正确地将视频广播到服务器。但现在我在播放音频部分时遇到问题。在链接示例中，代码的编写方式是将视频数据写入文件，然后从文件中读取数据并将 NALU 的视频数据包上传到 RTSP 服务器。

对于音频部分，我不知道如何继续。现在我尝试的是从麦克风获取音频缓冲区，然后通过添加 RTP 标头和 ALU 直接将其广播到服务器。但是这种方法无法正常工作，因为音频开始滞后，并且滞后随着时间的推移而增加。有人可以让我知道是否有更好的方法来实现这一点并使用 lip sycn 音频/视频。

Answer 1

您在客户端丢失任何数据包吗？如果是这样，你需要留下“空间”。如果您收到数据包 1,2,3,4,6,7，您需要为丢失的数据包 (5) 留出空间。

另一种可能性是所谓的时钟漂移问题。客户端和服务器上的时钟（晶体）彼此不完全同步。
这可能是由环境、温度变化等引起的。

假设在一个完美的世界中，您的服务器正在以 48000 Hz 的频率生成 20 毫秒的音频样本。您的客户端正在使用 48000 Hz 的采样率播放它们。实际上，您的客户端和服务器并不完全是 48000hz。您的服务器可能是 48000.001，您的客户端可能是 47999.9998。因此，您的服务器的交付速度可能比客户端更快，反之亦然。您要么消耗数据包太快，导致缓冲区运行不足，要么滞后太远，导致客户端缓冲区溢出。就您而言，听起来客户端播放速度太慢并且慢慢落后于服务器。你可能每分钟只会滞后几毫秒，但问题将继续存在，它看起来就像一部 20 世纪 70 年代对口型功夫电影。

在其他设备中，通常有一个公共时钟线来保持同步。例如，摄像机时钟、MIDI 时钟。多轨录音机时钟。

当您通过 IP 传送数据时，客户端和服务器之间不共享公共时钟。所以你的问题涉及在不同设备之间同步时钟。我已经使用这种通用方法成功解决了这个问题：

• A) 让客户端计算一段时间内传入的数据包的速率。
• B) 让客户端计算数据包被消耗（回放）的速率。
• C) 根据A和B调整客户端的采样率。

所以你的客户要求你调整播放的采样率。所以是的，你可以玩得更快或更慢。请注意，播放速率的变化将非常微妙。您可以将采样率设置为 48000.0001 Hz，而不是 48000 Hz。人类无法察觉音高的差异，因为它只会导致音高的一小部分差异。我解释了一种非常简化的方法。开发此类控制系统时必须考虑许多其他细微差别和边缘情况。您不会只是设置它然后忘记它。您需要一个控制系统来管理播放。

证明这一点的一个有趣的测试是使用具有完全相同文件的两个设备。最好是长时间录音（例如 3 小时）。同时启动它们。播放 3 小时后，您会发现其中一个领先于另一个。

这篇文章解释说，流式传输音频和视频并不是一项简单的任务。