一场八小时的带货直播,前半小时口型还对得上,第三小时开始能看出偏差,结束时声音比画面慢了将近一秒。导播先怀疑摄像机,换了采集卡;又怀疑平台,换了推流地址。问题都还在。回看录制文件才发现,音频的样本数比按视频时间轴算出来的少了 115,200 个,48kHz 下正好 2.4 秒。
这不是谁延迟高,而是时钟不一致。采集设备的晶振标称 48kHz,实际可能只有 47,996Hz。每秒钟少 4 个样本,听起来微不足道;八小时就是 115,200 个样本。视频按自己的帧率走,音频按自己的样本数走,两条时间轴一开始对齐,后面越走越远。
这类问题在短通话、短音频里几乎看不出来,一到长时间直播、多设备录制、会议系统就集中爆发。这篇讲三个相关的坑:采样时钟的偏差怎么算、缓冲区为什么会在十几分钟后耗尽、重采样和时间戳怎么把漂移拉回来。所有数字都用 Python 标准库在本机算过,可以直接拿去对账。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 直播越到后面音画差得越多 | 采集和播放的采样时钟有 ppm 级偏差,误差随时间累积 | 记录开始和结束的样本数差,换算成毫秒 |
| 每隔十几分钟卡顿一次 | 生产者和消费者速率不一致,缓冲区被抽空或撑满 | 打印缓冲水位,算每次卡顿的时间间隔 |
| 音频每隔固定时间「咔」一声 | 重采样器在边界丢样本或补样本,产生不连续 | 看输出样本数和理论值是否一致,检查重采样比例 |
| 两台设备录同一场,音轨长度不同 | 两台设备的晶振各自独立,没有共享时钟 | 比较两端时间戳,算总样本数和墙钟时长的差 |
| 时间戳越来越超前于画面 | 时间戳由样本数推算,没有按墙钟校正 | 检查 PTS 生成逻辑,确认时间基来自哪里 |
| 48kHz 转 44.1kHz 后时长短了一点 | 重采样比例取整,输出样本数算错 | 核对输出样本数是否等于时长乘目标采样率 |
| 耳机监听有回声,但音画是对齐的 | 采集和播放缓冲不对称,不是时钟漂移 | 测往返延迟,分别看采集和播放的缓冲深度 |
| 系统时间校准后,媒体时间轴突然跳变 | 用了墙钟做媒体时钟,NTP 步进调整直接改了时间 | 媒体时钟改用单调时钟,墙钟只做基准对齐 |
采样时钟不是「每秒正好 48000 次」
声卡、手机、摄像机的采样率都由晶振驱动。晶振有误差,标称 48kHz 的设备实际可能是 47,996Hz、48,003Hz,甚至偏差几百 Hz。这个相对误差通常用 ppm 表示,意思是百万分之几。1ppm 等于每秒钟差一百万分之一秒,换算成时间就是每小时 3.6 毫秒。
消费级设备的晶振常见偏差在 20ppm 到 100ppm 之间。100ppm 听起来很小,相当于每秒差 0.0001 秒,但一小时就是 360 毫秒,三小时超过一秒。直播、会议、监控这类长时间场景,不能假设「标称值就是真实值」。
更麻烦的是,采集和播放往往是两套独立时钟。采集卡按自己的晶振采样,播放设备按另一块晶振出声,中间还隔着网络和缓冲。只要两边不完全一致,缓冲水位就会单向漂移:采集快一点,缓冲越来越满;采集慢一点,缓冲越来越空。漂移不是抖动,抖动会来回,漂移一直朝一个方向走。
所以排查音画不同步时,第一步不是看延迟,而是看「偏差是不是随时间线性增长」。如果是,基本就是时钟问题;如果偏差来回跳,更像网络抖动或缓冲策略问题。两者的处理方式完全不同。
漂移怎么算:ppm、样本、毫秒
计算公式很简单:偏差样本数等于标称采样率乘 ppm 除以一百万,再乘时长秒数。换算成毫秒,就是偏差样本数除以采样率再乘一千。下面这段脚本算了几个常见 ppm 在一小时和三小时后的累积量。
SR = 48000
for ppm in (10, 50, 100, 500):
per_h = SR * ppm / 1e6 * 3600
print(f"{ppm:4d}ppm 1h={per_h:.0f} samples {per_h/SR*1000:.1f}ms "
f"3h={per_h*3:.0f} samples {per_h*3/SR*1000:.1f}ms")
actual = 47996
for hours in (1, 3, 8):
diff = (SR - actual) * hours * 3600
print(f"{hours}h diff={diff:.0f} samples {diff/SR*1000:.1f}ms")
本机 Python 3.15 实际输出:
10ppm 1h=1728 samples 36.0ms 3h=5184 samples 108.0ms
50ppm 1h=8640 samples 180.0ms 3h=25920 samples 540.0ms
100ppm 1h=17280 samples 360.0ms 3h=51840 samples 1080.0ms
500ppm 1h=86400 samples 1800.0ms 3h=259200 samples 5400.0ms
1h diff=14400 samples 300.0ms
3h diff=43200 samples 900.0ms
8h diff=115200 samples 2400.0ms
100ppm 的设备,一小时差 360 毫秒,三小时差 1.08 秒。48kHz 标称、实际 47,996Hz 的设备,偏差是 4 除以 48000,约 83.3ppm,一小时差 300 毫秒,三小时 900 毫秒,八小时 2.4 秒。开场那句「八小时差 2.4 秒」就是这么来的。
把这个偏差换算成视频帧,会更直观。24 帧每秒时,900 毫秒等于 21.6 帧;30 帧每秒时等于 27 帧。观众未必能说出差了多少毫秒,但能明显感觉到「口型对不上」。如果视频本身用 23.976 帧这种非整数帧率,换算还会更绕,所以工程上最好统一用一个时间基来算。
三个时钟:采集、播放、墙钟
要处理漂移,先分清系统里有几个时钟。第一个是采集时钟,决定样本以什么速率产生;第二个是播放时钟,决定样本以什么速率被送进扬声器;第三个是墙钟,也就是系统时间,用来给视频、字幕、网络包打时间戳。三者不一定同源。
只处理采集和播放的差异,叫采样率转换;同时处理墙钟,叫时间戳校正。很多团队只做了前者,以为把采样率统一到 48kHz 就万事大吉,结果音画还是偏,因为视频按墙钟走,音频按样本数走,两者没有共同的时间基。
墙钟本身也会跳。NTP 校时可能一次把系统时间往前或往后拨几十毫秒,甚至几秒。如果媒体时间轴直接建在墙钟上,一次校时就会让播放位置突跳,观众听到「咔」或者看到画面顿一下。正确做法是用单调时钟驱动媒体,墙钟只用来做初始对齐和缓慢修正。
硬校正:直接丢样本或补样本
缓冲快空了就重复一个样本,快满了就丢一个。实现简单,但会在波形上留下不连续,听感上可能是一声轻微的「咔」。适合对音质要求不高、延迟极紧的场景。
软校正:缓慢调整重采样比例
用异步重采样,把比例微调百万分之几,让缓冲水位慢慢回到目标值。波形连续,听感自然,代价是要多做一层滤波和比例控制。
硬校正不是不能用。丢一个样本在 48kHz 下只有 20.8 微秒,偶尔一次几乎听不出来;但如果每分钟都丢,就会形成周期性的杂音。软校正更平滑,但重采样器本身会引入滤波延迟和计算量。选哪种,取决于缓冲余量和音质要求。
缓冲区:欠载与溢出
缓冲区是采集和播放之间的蓄水池。采集快、播放慢,水位上涨;采集慢、播放快,水位下降。水位碰到上限叫溢出,碰到下限叫欠载,两者都会造成卡顿或丢音。抖动会让水位上下波动,漂移会让水位单向移动,最后撞到边界。
算一下最坏情况:生产端 48,000Hz,消费端 48,005Hz,差了 5Hz,约 104ppm。缓冲只有 100 毫秒,也就是 4,800 个样本。每秒净流出 5 个样本,4,800 除以 5 等于 960 秒,也就是 16 分钟。16 分钟后缓冲被抽空,播放开始断音。这个例子说明,缓冲再大也只能拖时间,不能消除漂移。
prod, cons = 48000, 48005
buffer_samples = 0.1 * prod
seconds = buffer_samples / (cons - prod)
print(f"buffer={buffer_samples:.0f} samples empty_after={seconds:.0f}s "
f"({seconds/60:.1f}min)")
本机实际输出是 buffer=4800 samples empty_after=960s (16.0min)。如果把缓冲加到 500 毫秒,能撑 80 分钟,但端到端延迟也变成 500 毫秒,通话体验会明显变差。缓冲和延迟是一对矛盾,不能靠无限加缓冲解决漂移。
正确的缓冲策略分两层:抖动用缓冲吸收,漂移用重采样或时间戳校正消除。缓冲水位要持续监控,不能等欠载了才报警。常见做法是设一个目标水位,比如 50 毫秒,水位偏离时缓慢调整重采样比例,让它在几分钟内回到目标,而不是突然丢一大段。
重采样:把 47996 拉回 48000
重采样的任务是改变样本的数量,同时保持内容的时间长度不变。设备实际 47,996Hz,要输出标称 48,000Hz,比例是 48000 除以 47996,约 1.0000833。也就是说,每输入一百万个样本,要输出一百万个零八十三个样本,平均每小时多取 14,401 个。
实现上不能用简单的线性插值。线性插值在高频处误差大,长时间运行还会引入周期性失真。正经做法是多相滤波或异步采样率转换:用一组预先设计好的滤波器系数,在任意小数位置插值,比例可以精确到 ppm 级。
重采样器还要处理输出样本数的取整。一小时的 48kHz 是 172,800,000 个样本,按 1.0000833 的比例算,输出是 172,814,400 个,差 14,400 个。如果代码里用整数除法或固定块长,最后会少几个样本,时间短一点点。单次看不出来,反复处理会累积。
异步重采样的比例不是固定的。缓冲水位高,就把比例调小一点,少产出几个样本;水位低,就调大一点。这个控制环要足够慢,避免 audible 的音高变化。调得太快,声音会像被「拉橡皮筋」;调得太慢,缓冲可能已经撞到边界。
还有一个常见误区:把 44.1kHz 转成 48kHz,再把 48kHz 转回 44.1kHz,以为能还原。两次重采样各有一层滤波和取整,误差不会抵消,只会叠加。能统一到一条采样率就统一,不能统一就保留原始数据,不要反复转。
时间戳校正:让两条时间轴对齐
时间戳校正的目标不是让样本数完全相等,而是让「音频的播放位置」和「墙钟时间」保持一致。视频、字幕、弹幕都按墙钟走,音频如果只按样本数走,就会慢慢偏。校正的做法是定期比较音频时间戳和参考时钟,算出一个偏移,再用重采样或丢补样本把偏移拉回来。
举个具体的账:标称 48kHz、实际 47,996Hz,每帧 480 个样本。按名义算每帧 10 毫秒,按真实时间算每帧是 1000 乘 480 除以 47996,约 10.000833 毫秒。播到 21,600 帧,名义时间是 216,000 毫秒,真实时间是 216,018 毫秒,差了 18 毫秒。这个差会继续增长,三小时后约 900 毫秒。
real_frame_ms = 1000 * 480 / 47996
for frames in (600, 3600, 10800, 21600):
nominal = frames * 10
real = frames * real_frame_ms
print(f"frames={frames:5d} nominal={nominal:8.1f}ms "
f"real={real:9.1f}ms offset={real-nominal:6.1f}ms")
本机实际输出:
frames= 600 nominal= 6000.0ms real= 6000.5ms offset= 0.5ms
frames= 3600 nominal= 36000.0ms real= 36003.0ms offset= 3.0ms
frames=10800 nominal=108000.0ms real= 108009.0ms offset= 9.0ms
frames=21600 nominal=216000.0ms real= 216018.0ms offset= 18.0ms
18 毫秒在口型上还看不出来,但对 60 帧的视频已经超过一帧。校正策略要在这个量级就开始工作,而不是等差到几百毫秒才处理。常见做法是每秒钟比较一次时间戳,把偏移除以一个时间常数,得到微调比例,慢慢追上去。
如果偏移已经很大,比如几分钟,不能靠重采样慢慢追,那会让音高明显变化。这时候要么接受一次跳跃,要么在静音段做一次重对齐。重对齐的位置要选在内容不敏感的地方,比如停顿、场景切换,别在唱歌或讲话中间硬切。
边界与代价:别把校正做成新的问题
时钟漂移没有「彻底解决」,只有「控制在可接受范围」。消费级设备不可能做到零 ppm,网络传输也不可能零抖动。工程目标是让偏差在一个观众察觉不到的范围内,并且不随时间无限增长。
| 手段 | 能解决什么 | 代价与边界 |
|---|---|---|
| 加大缓冲 | 吸收网络抖动和短时到达波动 | 增加端到端延迟,不能消除持续漂移 |
| 异步重采样 | 缓慢修正采样率差异,保持波形连续 | 增加计算量和滤波延迟,比例控制要稳 |
| 丢样本或补样本 | 快速拉回缓冲水位 | 可能产生轻微不连续,频繁使用会变调 |
| 时间戳校正 | 让音频和墙钟、视频对齐 | 需要可靠的参考时钟,处理不好会跳跃 |
| 共享时钟 | 从源头消除多设备漂移 | 需要硬件支持,普通消费设备很难做到 |
最大的边界是参考时钟本身。如果墙钟被 NTP 调整,或者设备休眠后时钟停了,校正就会失去基准。所以媒体时钟要用单调时钟,墙钟只做对齐;校时事件要记录,必要时暂停校正,等时间稳定后再继续。
第二个边界是测量精度。想算 ppm,需要知道准确的开始和结束时间,还要排除缓冲和网络延迟。只靠「听上去偏了」无法定位问题,至少要记录每帧时间戳、样本数和缓冲水位,才能算出漂移方向和速率。
第三个边界是内容本身。音乐对音高变化敏感,语音对时间跳变敏感,视频对音画偏移敏感。同样的校正策略,在播客里可能完全听不出来,在音乐直播里就可能被投诉。策略要按内容选,不能一套参数打天下。
当天能自己验证的五个练习
- 用上面的脚本算 20ppm、80ppm、200ppm 在 1 小时、5 小时、10 小时后的偏移,换算成视频帧数。
- 把缓冲从 100 毫秒改成 300 毫秒,重算生产 48,000、消费 48,005 时的耗尽时间。
- 用两段不同采样率的正弦,写一个线性插值重采样器,记录输出样本数和理论值的差。
- 找一台手机和一台电脑同时录 10 分钟,比较两个文件的样本数,算各自的 ppm。
- 记录一次长会议的音画偏移,每分钟取一个点,画一条偏移随时间变化的曲线,判断是漂移还是抖动。
小结
三句话:采样时钟有 ppm 级误差,短时间看不出来,长时间会累积成秒;采集、播放、墙钟是三套时钟,缓冲只能吸收抖动,消除漂移要靠重采样或时间戳校正;校正要慢、监控要快,别用一次大跳去换短暂的同步。
这六篇音频教程到这里结束。从采样量化、PCM、MP3,到自己定义帧格式、实现编解码和丢帧补偿,再到时钟与漂移,主线只有一条:先看清楚数据和时间是怎么被表示的,再去谈压缩、传输和同步。下一步可以拿一篇真实项目的音频故障日志,按这套顺序自己走一遍。