在 objective C 中创建用于实时音频和视频广播的 rtsp 客户端
Creating a rtsp client for live audio and video broadcasting in objective C
我正在尝试创建一个直播音频和视频的 RTSP 客户端。我修改了 link http://www.gdcl.co.uk/downloads.htm 处的 iOS 代码，并且能够正确地将视频广播到服务器。但是现在我在播放音频部分时遇到了问题。在 link 示例中，代码的编写方式是将视频数据写入文件，然后从文件中读取数据并将 NALU 的视频数据包上传到 RTSP 服务器。
对于音频部分，我不确定如何进行。现在我尝试的是从麦克风获取音频缓冲区，然后通过添加 RTP headers 和 ALU 将其直接广播到服务器。但是这种方法无法正常工作，因为音频开始滞后并且滞后随着时间。有人可以让我知道是否有更好的方法来实现这一目标并使用 lip sycn audio/video。
您是否丢失了客户端上的任何数据包？如果是这样，你需要离开"space."如果你收到数据包1,2,3,4,6,7，你需要为丢失的数据包（5）留下space。
另一种可能性是所谓的时钟漂移问题。您的客户端和服务器上的时钟 (crystal) 彼此不完全同步。
这可能是由环境、温度变化等引起的
假设在一个完美的世界中，您的服务器正在以 48000 赫兹的频率生成 20 毫秒的音频样本。您的客户端正在使用 48000 赫兹的采样率播放它们。实际上，您的客户端和服务器并不完全是 48000hz。您的服务器可能是 48000.001，您的客户端可能是 47999.9998。因此，您的服务器可能比您的客户端交付得更快，反之亦然。您要么消耗数据包的速度太快并低于 运行 缓冲区，要么滞后太多并溢出客户端缓冲区。在您的情况下，听起来客户端播放速度太慢并且慢慢落后于服务器。您可能每分钟只滞后几毫秒，但问题会继续存在，它看起来就像一部 1970 年代口型同步的功夫电影。
在其他设备中，通常有一条公共时钟线来保持同步。例如，摄像机时钟、midi 时钟。多轨录音机时钟。
当您通过 IP 传送数据时，客户端和服务器之间没有共享公共时钟。因此，您的问题涉及在不同设备之间同步时钟。我已经使用这种通用方法成功解决了这个问题：
- A) 让客户端统计一段时间内传入的数据包的速率。
- B) 让客户端统计数据包被消耗（回放）的速率。
- C) 根据A和B调整客户端的采样率
所以您的客户要求您调整播放的采样率。所以是的，你玩得更快或更慢。请注意，播放速率的变化将非常非常微妙。您可以将采样率设置为 48000.0001 赫兹而不是 48000 赫兹。音高的差异是人类无法察觉的，因为它只会导致音高的一小部分差异。我给出了一个非常简化的方法的解释。在开发此类控制系统时，必须考虑许多其他细微差别和边缘情况。你不只是设置它并忘记它。您需要一个控制系统来管理回放。
证明这一点的一个有趣的测试是使用两个具有完全相同文件的设备。长时间录音（比如 3 小时）是最好的。同时启动它们。播放 3 小时后，您会发现一个在另一个之前。
这 post 解释了 。
我正在尝试创建一个直播音频和视频的 RTSP 客户端。我修改了 link http://www.gdcl.co.uk/downloads.htm 处的 iOS 代码，并且能够正确地将视频广播到服务器。但是现在我在播放音频部分时遇到了问题。在 link 示例中，代码的编写方式是将视频数据写入文件，然后从文件中读取数据并将 NALU 的视频数据包上传到 RTSP 服务器。
对于音频部分，我不确定如何进行。现在我尝试的是从麦克风获取音频缓冲区，然后通过添加 RTP headers 和 ALU 将其直接广播到服务器。但是这种方法无法正常工作，因为音频开始滞后并且滞后随着时间。有人可以让我知道是否有更好的方法来实现这一目标并使用 lip sycn audio/video。
您是否丢失了客户端上的任何数据包？如果是这样，你需要离开"space."如果你收到数据包1,2,3,4,6,7，你需要为丢失的数据包（5）留下space。
另一种可能性是所谓的时钟漂移问题。您的客户端和服务器上的时钟 (crystal) 彼此不完全同步。
这可能是由环境、温度变化等引起的
假设在一个完美的世界中，您的服务器正在以 48000 赫兹的频率生成 20 毫秒的音频样本。您的客户端正在使用 48000 赫兹的采样率播放它们。实际上，您的客户端和服务器并不完全是 48000hz。您的服务器可能是 48000.001，您的客户端可能是 47999.9998。因此，您的服务器可能比您的客户端交付得更快，反之亦然。您要么消耗数据包的速度太快并低于 运行 缓冲区，要么滞后太多并溢出客户端缓冲区。在您的情况下，听起来客户端播放速度太慢并且慢慢落后于服务器。您可能每分钟只滞后几毫秒，但问题会继续存在，它看起来就像一部 1970 年代口型同步的功夫电影。
在其他设备中，通常有一条公共时钟线来保持同步。例如，摄像机时钟、midi 时钟。多轨录音机时钟。
当您通过 IP 传送数据时，客户端和服务器之间没有共享公共时钟。因此，您的问题涉及在不同设备之间同步时钟。我已经使用这种通用方法成功解决了这个问题：
- A) 让客户端统计一段时间内传入的数据包的速率。
- B) 让客户端统计数据包被消耗（回放）的速率。
- C) 根据A和B调整客户端的采样率
所以您的客户要求您调整播放的采样率。所以是的，你玩得更快或更慢。请注意，播放速率的变化将非常非常微妙。您可以将采样率设置为 48000.0001 赫兹而不是 48000 赫兹。音高的差异是人类无法察觉的，因为它只会导致音高的一小部分差异。我给出了一个非常简化的方法的解释。在开发此类控制系统时，必须考虑许多其他细微差别和边缘情况。你不只是设置它并忘记它。您需要一个控制系统来管理回放。
证明这一点的一个有趣的测试是使用两个具有完全相同文件的设备。长时间录音（比如 3 小时）是最好的。同时启动它们。播放 3 小时后，您会发现一个在另一个之前。
这 post 解释了