一支四十分钟的课程视频导出来了,审片时前十分钟怎么听都正常,到第二十五分钟开始觉得讲师的口型有点抢拍,片尾那句「我们下节课见」画面已经闭嘴,声音还在拖。用逐帧对齐的工具量了一下:第十分钟差 0.58 秒,第二十分钟差 1.17 秒,第四十分钟差 2.35 秒。误差不是随机跳,是一条稳定上升的斜线。
剪辑软件里回放完全同步,导出后才偏,说明问题不在素材,也不在时间轴,而在导出这一段。时间轴用的是剪辑软件自己的时钟,导出要把画面和声音交给编码器,各自按自己的时钟推进,中间任何一处把时间算歪,成品就会随着时长放大。
团队先怀疑音频编码器太慢,重装了一遍,没用。换一个导出工具,同一份工程十分钟处直接差了六秒多。两个工具都没报错,只是取整策略不同,漂移速率差了一个数量级。
这篇讲导出这一段的时钟:音频和视频各按什么计时、时间戳取整为什么会攒成几秒、编码延迟属于常量偏移还是线性漂移、可变帧率怎么把时间算乱,最后给一套算漂移和定校正系数的办法。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 前十分钟正常,后面口型越来越不对 | 每帧时间戳按毫秒取整,误差随时长线性累积 | 取首尾两帧的 PTS,算实际每帧间隔 |
| 整段统一差半秒,前后一样 | 编码器有固定延迟,封装时没有补偿(edit list 缺失) | 对比音频首包时间戳和视频首帧 PTS |
| 换一个导出工具,漂移速率大变 | 两个工具的取整粒度和时间基不同 | 看容器时间基是 1/1000 还是 1/90000 |
| 某一段突然跳一下,之后继续偏 | 掉帧、拼接点 PTS 重置、可变帧率段切换 | 逐帧打印 PTS 差值,找突变的位置 |
| 成品总时长比工程短几秒 | 末尾帧时长取整,或丢帧后没有补时间戳 | 末帧 PTS 加单帧时长,和工程时长对比 |
| 音频比画面短一截,结尾被切掉 | AAC 等编码器的预热样本被裁掉或没写进时间线 | 查编码延迟参数和首帧偏移,1024 个样本约 21.3 毫秒 |
| 播放时声音断续、画面卡顿 | 音频缓冲欠载,或者渲染速度跟不上实时 | 看欠载日志和丢帧计数 |
| 本地播放正常,上传平台后偏了 | 平台二次转码,重新打时间戳或改成可变帧率 | 下载平台处理后的文件,重新量首尾 PTS |
两个时钟:一个数样本,一个数帧
播放器里有两套时钟。音频按样本计数,48kHz 就是每秒四万八千个样本;视频按帧计数,30fps 就是每秒三十帧。两者本来就不整除,需要一个主时钟决定谁跟谁。
行业惯例是让音频当主时钟。原因是人对声音的断续、变速极其敏感,音频缓冲一旦欠载就会爆音;画面偶尔丢一帧、重复一帧,观感上反而能忍。所以播放器通常按音频时钟推进,视频帧到点了就显示,没到就等,落后太多就丢帧追上去。
这套机制能容忍小的偏差,但不能纠正「时间戳本身就算错了」。如果导出时把每帧的时间戳都写成偏小的值,播放器会老老实实按这个错的时间表走,画面整体越走越快,音频按真实样本走,两者就越拉越开。播放器不会替你发现这个错,它只负责执行。
帧率与刷新率也容易混。帧率是内容每秒多少帧,刷新率是屏幕每秒刷多少次;60Hz 放 24fps 要重复显示帧,节奏错了会抖,但不会造成音画漂移。
取整:每帧差一点,攒成一截
29.97 的一帧是 33.366667 毫秒,不是整数毫秒。如果封装的时间基是 1/1000 秒,每帧只能记成 33 毫秒或 34 毫秒。选 33 毫秒,每帧少 0.366667 毫秒;十秒钟三百帧,少 110 毫秒;十分钟一万八千帧,少 6.6 秒。这个数字不是估算,是下面脚本算出来的。
按 34 毫秒记方向反过来,十分钟多 11.4 秒,更糟。交替记 33 和 34 能接近平均值,但规则若按帧号取模仍会周期性偏。稳妥做法是用足够细的时间基,让每帧落在整数刻度上。
90kHz 就是为此选的。90000 除以 29.97 等于 3003,正好是整数;除以 30 等于 3000;除以 25 等于 3600。三种常用帧率都能整除,所以 MPEG-TS、RTP 这些协议都用 90kHz。用 3003 累加一万八千帧,总时长正好 600.6 秒,一毫秒都不差。
反过来说,如果代码里按 30fps 算、每帧写 3000 个 tick,把 29.97 的素材当 30 用,十分钟就差 0.6 秒。这个误差和「按毫秒截断」的 6.6 秒比小一个数量级,但仍然会在一小时的片子上变成 3.6 秒,足够让人发现口型不对。
编码延迟:常量偏移和线性漂移是两种病
编码器为了压得更小,会缓冲若干帧再一起处理,这叫编码延迟。视频的 B 帧、音频的变换窗口,都需要往后看几帧才能编码当前帧。结果是第一帧进入编码器的时间和它出现在文件里的时间之间,有一个固定差。
固定差不可怕,可怕的是两个流的固定差不一样。视频延迟 66 毫秒、音频 21 毫秒,没补偿就会整段偏 45 毫秒,从头到尾一样。这种偏移靠裁掉开头一小段或整体平移一条流就能修。
分辨方法很简单:在开头和结尾各量一次。两处偏移一样,是常量;结尾比开头大,是线性。常量偏移多半来自编码延迟或首帧时间戳;线性漂移多半来自取整、速率不匹配或丢帧。
常量偏移:整段平移
从头到尾差同一个值,常见于编码器预热样本没补偿、首帧 PTS 不为零。修法是整体平移音频或裁掉开头固定长度,一次就能对齐。
线性漂移:越走越偏
偏移和时长成正比,常见于时间基太粗、帧率不匹配、采样率换算取整。修法只能变速、重采样或重导,裁剪尾部只能让两端对齐,中间仍然偏。
音频的预热样本值得单独说。AAC 编码器在开头会插入一段静音或填充,常见是 1024 个样本,48kHz 下是 21.3 毫秒。规范上应该由容器里的编辑列表告诉播放器「从第几个样本开始播」,但有些工具不写,播放器就从头播,整段音频晚 21 毫秒。这个量级大多数场景听不出来,配特写口型时能看出来。
可变帧率与掉帧:时间表本身不平
可变帧率的意思是每帧的显示时长不固定。手机拍摄、屏幕录制、直播推流都可能产生这种素材:画面静止时每秒十帧,运动时每秒六十帧,平均下来三十帧。文件里只记一个平均帧率,或者干脆不记,靠每帧的 PTS 描述真实时间。
如果导出时按「帧号乘平均帧时长」重新打时间戳,等于把一条不平的时间表强行拉平。静止段落会被压缩,运动段落会被拉长,虽然总时长可能对得上,中间每一段都和原素材错位。这种错位不是单调漂移,而是来回游走,看起来像「某几段突然对不上,过一会儿又好了」。
掉帧是另一种。渲染速度跟不上,某一帧没渲染出来,时间轴上就空了一格。如果导出器直接跳过这一帧、不补时间戳,音频仍然按原时长走,画面就少了一段,之后所有内容整体提前。如果补了重复帧,画面不动但时间继续,音画还能对上。两种处理方式出来的成品完全不同。
看到「突然跳一下」的偏移,先别怀疑取整。取整是缓慢累积,跳变通常意味着时间表重置、丢帧或拼接点 PTS 没接上;逐帧打印 PTS 差值就能定位。
四层里任何一层速率不准,最后都会表现成漂移。硬件时钟的偏差通常在几十 ppm,50 ppm 就是每秒钟差 50 微秒,一小时 180 毫秒。单看不大,但它和取整误差叠加时,会让「为什么两台机器导出的偏差不一样」变得很难解释。
实测:漂移速率与校正系数
下面这段脚本算三件事:不同取整粒度下十分钟累积多少漂移、时钟偏差和音频样本取整各贡献多少、以及给定「600 秒画面配 606.6 秒音频」时,校正系数取几位才够。
f2997 = 30000 / 1001
frame_s = 1 / f2997
print("frame = %.6f ms" % (frame_s * 1000))
for label, step in (("truncate 33ms", 0.033), ("round 33ms", 0.033),
("round 33.333ms", 1 / 30)):
print("%s: drift/10min = %.3f s" % (label, 18000 * (frame_s - step)))
print("cumulative ms rounding max error = %.3f ms"
% (max(abs(i * frame_s - round(i * frame_s * 1000) / 1000)
for i in range(18000)) * 1000))
print("50 ppm clock: %.1f ms/10min, %.1f ms/h"
% (50e-6 * 600 * 1000, 50e-6 * 3600 * 1000))
print("1601 samples/frame: drift/10min = %.3f s"
% (18000 * (48000 / f2997 - 1601) / 48000))
print("90kHz 3000 vs 3003: drift/10min = %.3f s"
% (18000 * 3 / 90000))
print("1024-sample priming = %.1f ms" % (1024 / 48000 * 1000))
Tv, Ta = 600.0, 606.6
factor = Ta / Tv
print("stretch factor = %.6f, trim-only mid drift = %.2f s"
% (factor, (Ta - Tv) / 2))
for f in (1.011, 1.01, 1.0111):
print("factor %.4f residual after 600s = %.3f s" % (f, (factor - f) * Tv))
本机 Python 3.15 实际输出:
frame = 33.366667 ms
truncate 33ms: drift/10min = 6.600 s
round 33ms: drift/10min = 6.600 s
round 33.333ms: drift/10min = 0.600 s
cumulative ms rounding max error = 0.500 ms
50 ppm clock: 30.0 ms/10min, 180.0 ms/h
1601 samples/frame: drift/10min = 0.225 s
90kHz 3000 vs 3003: drift/10min = 0.600 s
1024-sample priming = 21.3 ms
stretch factor = 1.011000, trim-only mid drift = 3.30 s
factor 1.0110 residual after 600s = 0.000 s
factor 1.0100 residual after 600s = 0.600 s
factor 1.0111 residual after 600s = -0.060 s
前两行是最危险的组合:按整毫秒截断或四舍五入,十分钟都是 6.6 秒。注意「四舍五入」也没救,因为每帧都独立取整,误差方向虽然随机,但均值仍偏向 33 毫秒这一侧,累积起来一样跑偏。第三行按 33.333 毫秒记,十分钟差 0.6 秒,正好对应「把 29.97 当 30」的情况。
第四行说明另一件事:如果每帧时间戳都从帧号直接算、最后才取整到毫秒,单帧误差最大 0.5 毫秒,不会累积。这跟前面每帧独立取整是两回事。同样是「毫秒精度」,一个会攒成 6.6 秒,一个始终不超过半毫秒。
中间几行是其他来源的量级:50 ppm 的时钟偏差一小时 180 毫秒;每帧固定 1601 个音频样本,十分钟差 0.225 秒;90kHz 时间基里错用 3000 而非 3003,十分钟 0.6 秒。它们可以叠加,但不会互相抵消,所以实际成品的漂移往往比单一原因的估算更大。
最后四行是校正。600 秒画面配 606.6 秒音频,倍率是 1.011。只裁掉尾部 6.6 秒的话,两端对齐了,中点仍偏 3.30 秒;用 1.011 的倍率整体拉伸,残差为零;系数只保留两位写成 1.01,六百秒后又差回 0.6 秒;写成 1.0111,残差是负 0.06 秒,方向反了但量级可接受。校正系数的位数,直接决定修完还剩多少。
校正策略:先定位,再算斜率,最后选修法
定位的办法是取三个点:开头、中间、结尾,各找一个能对齐的特征,比如拍手、关门、口型闭合。记下每个点的偏移量和对应时间,用最小二乘或者简单首尾相减,得到漂移速率。只有两个点时,默认漂移是线性的;三个点能看出有没有跳变。
算出速率之后,先判断它能不能被「修根因」解决。如果是时间基太粗,换 1/90000 重导,漂移直接消失,比任何后期校正都干净。如果是帧率不匹配,改时间线帧率或做 conform。只有根因改不了、又必须交付时,才走后期校正。
后期校正有三种。第一种是裁剪,适合常量偏移,把音频开头或结尾裁掉固定长度。第二种是变速,适合线性漂移,按倍率拉伸音频,倍率在 1% 以内通常听不出来,超过 1% 要担心音调和节奏。第三种是重采样,把音频样本率改掉再按目标率播放,精度高,但要重新编码,而且比率不能取整太狠。
漂移不是线性时,三种方法都会留残差。可变帧率素材前半段和后半段速率不同,一个倍率修不好,只能按段落切分单独算,或回到源头按逐帧 PTS 重导。分段接缝要加很短的交叉淡化,否则会咔哒一声。
导出前后各查一遍
导出前查的是源头,导出后查的是成品。两边都用同一套指标,才能判断问题是带进来的还是新产生的。
| 时机 | 检查项 | 正常值 |
|---|---|---|
| 导出前 | 时间线帧率与素材帧率是否一致 | 完全一致,或已明确转换策略 |
| 导出前 | 音频采样率与工程采样率 | 一致,或已重采样 |
| 导出前 | 素材是否有可变帧率 | 已知,且按 PTS 处理 |
| 导出后 | 首帧 PTS 与音频首包时间 | 差值为 0 或已知固定延迟 |
| 导出后 | 末帧 PTS 加单帧时长 | 等于工程时长,误差小于一帧 |
| 导出后 | 逐帧 PTS 间隔 | 恒定,或按可变帧率合理变化 |
| 导出后 | 总样本数与采样率之比 | 等于音频时长,误差小于一毫秒 |
| 导出后 | 丢帧计数与欠载日志 | 为零 |
这套检查不需要专业仪器。读容器信息能拿到 PTS 和时长,算一下就有结论。真正费时的是在长片里找特征点,所以更稳的做法是在拍摄或录制时就打一个同步标记,比如拍一下手、闪一下灯,后期直接找这个标记量偏移。
导出参数固定后不要随手改。时间基、帧率、采样率、编码器版本,任何一项变化都可能改变漂移特性,写进导出预设比每次手选可靠。
边界与代价
第一个边界是精度上限。不管怎么校正,最终的同步精度受采样间隔限制。48kHz 下一个样本是 20.8 微秒,一帧 33 毫秒,人对音画不同步的感知阈值大约在几十毫秒,所以做到一帧以内就够用,追求微秒级没有意义。
第二个边界是设备时钟。播放端的晶振有自己的偏差,录音设备的晶振也有,两端加起来几十 ppm 是常态。长时间播放时,播放器会靠丢帧或重复帧来追,观感上可能有一点点抖,但不会累积成几秒。这类偏差无法靠文件本身修正。
第三个代价是校正本身引入的损伤。变速会改变音色和节奏,重采样会做一次滤波,分段校正会有接缝。修得越多,离原始素材越远。所以能重导就重导,后期校正只作为交付前的补救。
第四个代价是验证成本。四十分钟的片子逐段检查很费时,可以抽若干特征点用互相关算偏移,做一次工具,后面每个项目都能省下反复试听。
当天能自己验证的五个练习
- 拿一个 29.97 的文件,读首帧和末帧的 PTS,算平均每帧间隔,看是不是 3003 个 90kHz tick。
- 把同一份工程用两个不同的导出工具各导一次,量十分钟处的偏移,比较漂移速率。
- 在时间基 1/1000 的容器里导一个短片,统计帧间隔,看有多少帧落在 33 毫秒、多少落在 34 毫秒。
- 用上面的公式算你手头片子的校正倍率,分别取三位和两位小数,估算修完的残差。
- 找一段带拍手声的视频,在开头、中间、结尾各量一次偏移,判断它是常量偏移还是线性漂移。
小结
三句话:音频按样本走、视频按帧走,播放器让视频追音频;时间戳取整如果逐帧独立做,误差会按时间累积,十分钟能攒出六秒多;常量偏移靠平移,线性漂移靠变速或重采样,校正系数至少留四位小数。
这个「图层」系列到这里收尾。从单个像素怎么混合,到透明怎么合成,再到多路声音怎么相加、时间轴怎么对齐、导出时时钟怎么互相追赶,五篇讲的其实是同一件事:把多路数据折成一路时,每一处换算、每一次取整、每一个顺序,都会在成品里留下痕迹。下次再遇到「看起来差不多但对不上」的问题,先别换工具,先算一遍。