纪录片团队把一段采访素材拖进时间线,素材是 29.97fps,时间线设成 30fps。前十分钟还看不出问题,二十分钟后主持人拍手的动作和声音差了将近一帧,一小时处对白和口型明显不同步,越往后越偏,最后差了足足三秒半。

剪辑师的第一反应是「声卡延迟」或者「软件卡了」,换了三台机器都一样。真正的原因很朴素:两种帧率不是同一个尺子。29.97 的素材每秒有 29.97002997 帧,30fps 的时间线每秒正好 30 帧,每帧差 0.033 毫秒,一小时一万多个帧下来,就是三秒多的错位。

更麻烦的是,这类误差不会在开头暴露。第一分钟只差 10 毫秒,肉眼看不出;十分钟差 0.6 秒,还能解释成「口型本来就没对准」;等到半小时、一小时,误差大到无法忽略,可这时候剪辑已经做了一大半,回头改成本很高。

这篇讲时间轴上的三把尺子:帧率、时间基和采样率。说清楚 29.97 到底是什么数、PTS 和 DTS 各管什么、秒怎么换算成帧和样本、时间码里的分号为什么不是打错,最后给一遍可复现的换算实测。

现象真实原因第一步查什么
29.97 素材放 30 时间线,十分钟差 0.6 秒两种帧率每帧差 0.033 毫秒,按帧数对齐就线性累积查素材帧率和时间线帧率是不是同一个值
一小时差 3.6 秒,而且越往后越明显误差与时长成正比,不是随机抖动算总帧数差除目标帧率,看是否等于观察到的偏移
时间码 01:00:00;00 对应的实际时长不是 3600 秒分号表示丢帧时间码,数字是标签,不是真实经过的时间确认时间码是丢帧还是非丢帧,换算成真实秒
声音和画面越到后面越不同步音频按样本数计数,画面按帧计数,两个刻度不整除查音频首帧时间戳和采样率,别用帧号推时间
把 44.1k 音频放进 48k 序列,音调偏高没重采样,样本被按错误速率解释查音频流的采样率元数据和序列采样率
可变帧率素材按平均帧率算时间码会飘每帧时长不固定,帧号与时间没有线性关系用逐帧 PTS,不要用帧序号乘平均帧时长
转码后总时长多了几帧首帧时间戳偏移、末尾帧时长取整、B 帧重排看首帧 PTS 和最后一帧的 PTS 加时长
拖动进度条到中间,音画差半帧定位精度受关键帧间隔和时间基粒度限制确认时间基分母,判断最小时间单位是多少

29.97 不是 29.97

电视时代定下的帧率不是整数,而是 30 除以 1.001,也就是 30000/1001,约等于 29.97002997。大家口头说 29.97,写代码时如果直接写 29.97,就已经引入了误差。一小时按 29.97 算和按 30000/1001 算,差多少?前者帧数 107892,后者 107892.107,四舍五入还是 107892,表面看一样;但误差会随着时长放大,做精确换算时必须用分数。

同样的道理,23.976 是 24000/1001,59.94 是 60000/1001。它们都带那个 1000/1001 的因子,来源是早期把 30fps 稍微放慢,让彩色副载波不干扰声音载波。这个历史包袱一直留到今天,所有影视流程都得兼容它。

25fps 和 24fps 的转换是另一回事。两者每秒差一整帧,误差 4%,比 29.97 与 30 之间的 0.1% 大得多,靠轻微变速解决不了,只能插帧、丢帧或者改时间线。电影素材进电视工程时,经常在这里出问题。

为什么不能干脆全用 30?因为已有素材是按 29.97 录的,重新按 30 播放会让速度变快 0.1%,一小时的节目短 3.6 秒,声音还会整体升调。对音乐类内容,0.1% 的变速都能听出来。所以行业选择保留这个奇怪的数字,用各种机制去补偿它。

写换算代码时用分数,不要用小数。30000/1001 在浮点里除不尽,累积一万次就会有可见误差。Python 的 fractions 模块、或整数分子分母成对传递,都比 double 稳。

这也是为什么很多工具的时间基写成 1/30000 秒,而不是 1/29.97 秒。用整数刻度记录时间,才能保证长时间不漂。时间基的分母越大,刻度越细,能表示的时间越精确,但数字也越大,超过三十二位就可能溢出。

时间基、PTS 与 DTS

时间基,英文 timebase,是时间轴的最小刻度。可以把它想成「一个 tick 等于多少秒」,通常写成 1/30000 或 1/90000 这样的分数。视频里常见的 90kHz 时钟,就是每秒钟 90000 个 tick,一个 29.97 的帧正好占 3003 个 tick,一个 30fps 的帧占 3000 个,一个 25fps 的帧占 3600 个。都是整数,这就是选 90000 的原因。

PTS 是显示时间戳,表示这一帧应该在什么时刻出现在屏幕上。DTS 是解码时间戳,表示这一帧应该在什么时刻被解码器读进去。两者分开,是因为有 B 帧:B 帧要参考后面的帧才能解码,所以解码顺序和显示顺序不一致。文件里的帧按 DTS 排列,播放器按 PTS 显示。

时间码标签:给人看的小时、分、秒、帧,可以带丢帧规则
时间基:把标签换算成整数 tick 的分母,决定刻度粗细
PTS 与 DTS:每帧在时间轴上的显示时刻和解码时刻
采样率:音频每秒的样本数,和帧率是两套独立的刻度

很多人把时间码当成时间。其实时间码只是一串标签,它的「一秒」是不是真的一秒,取决于用的是丢帧还是非丢帧。这一点下一节展开。真正参与调度的是 PTS,播放器拿它和音频时钟比较,决定这一帧是早了还是晚了。

还有一个细节:PTS 不一定从零开始。有些封装把第一帧的时间戳设成偏移值,或者从一个随机数开始,播放时要减去基准。如果两段素材的基准不同,拼接处就会跳一下。排查音画不同步时,先看首帧 PTS,比看总时长有用。

秒换算成帧和样本:两把不整除的尺子

视频的刻度是帧,音频的刻度是样本,两者没有公约数。48kHz 采样率下,一帧 29.97 的时长里包含 1601.6 个样本,不是整数。44.1kHz 下是 1471.47 个样本,更零碎。这意味着音频不能严格地「每帧切一段」,只能让每段的样本数在 1601 和 1602 之间交替,长期平均才等于 1601.6。

如果实现时图省事,每帧固定取 1601 个样本,十秒钟就差出 18 个样本;一万八千帧(十分钟)差 0.225 秒。这个量级在短片里听不出来,长片就会在某个段落突然发现口型不对。这也是为什么专业工具都用「累计样本数除以采样率」来算时间,而不是「帧号乘每帧样本数」。

反过来,把秒换算成帧也一样。给定一段素材时长 600 秒,按 29.97 算是 17982 帧,按 30 算是 18000 帧,差 18 帧,也就是 0.6 秒。到一小时,差 108 帧、3.6 秒;到四小时,差 432 帧、14.4 秒。误差和时长严格成正比,不会自己收敛。

这就是为什么「按帧数对齐」在多速率素材混用时会出问题。两段素材帧率不同,各自按自己的帧数排,时间轴的总时长就会和预期不一致。正确做法是先统一到同一个时间基,再按 PTS 排列,帧号只用来定位,不用来算时间。

丢帧时间码:标签在追时间

为了让时间码标签和真实时间对得上,29.97 的非丢帧时间码每到一分钟就比真实时间慢一点点。一小时下来,标签显示 01:00:00:00,实际已经过了 3603.6 秒,慢了 3.6 秒。解决办法是丢帧时间码:每分钟开头跳过两个帧号,整十分钟不跳,用标签去追真实时间。

注意「丢帧」丢的是编号,不是画面。第 00 分 59 秒的下一帧,标签直接写成 00:01:00;02,中间的 ;00 和 ;01 两个号被跳过,对应的画面一帧没少。这也是为什么丢帧时间码用分号而不是冒号,它是给人和机器的双重提示:这串数字已经做过补偿。

换算一下就清楚了:一小时的非丢帧标签 01:00:00:00 对应第 108000 帧,按 29.97 算是 3603.6 秒;丢帧标签 01:00:00;00 对应第 107892 帧,正好 3600 秒。十分钟处,非丢帧 00:10:00:00 也是 17982 帧,实际 599.99 秒,和丢帧标签 00:10:00;00 一致,所以整十分钟不需要跳号。

很多事故来自「把分号当冒号」。剪辑软件里输入 01:00:00;00,以为是一小时整,实际是 3599.996 秒;输入 01:00:00:00,以为也是一小时,实际是 3603.6 秒。差三秒多,正好是一段对白的长度,对不上就以为素材坏了。

素材帧率和时间线帧率不一致怎么办

常见有三种处理方式,各有代价。第一种是把时间线改成和素材一致,29.97 的素材就建 29.97 的时间线,从根上避免换算。这是最省事的,缺点是项目里同时有多种帧率的素材时,总有一种要被转换。

第二种是变速适配,也叫 conform:把 29.97 的素材按 30 播放,速度提高 0.1%,画面和声音一起变快。好处是帧对帧,不留插值痕迹;坏处是时长缩短、音调升高。如果素材里有人声,0.1% 的升调基本听不出来,但音乐内容要谨慎。

第三种是插帧或丢帧:保持时长不变,用算法生成中间帧,或者直接丢掉某些帧。插帧看起来平滑,但会引入运动伪影,快速运动、遮挡、字幕边缘最容易露馅;丢帧则会让运动一顿一顿。实时预览可以用,最终输出要谨慎。

改时间线帧率:不改素材

让时间线去适配素材,最保真,不产生新的帧。代价是项目里其他素材也要跟着转,交付时要确认目标平台能接受这个帧率。

转换素材帧率:不改时间线

保持时间线统一,方便管理。代价是插帧或丢帧会改变画面,变速会改变时长和音调,两种都要在输出前逐段检查。

还有一种情况是可变帧率。手机拍摄、屏幕录制、网络直播的素材,每帧的间隔可能不一样,文件里只有一个平均帧率。这时按「帧号乘平均帧时长」算时间,误差会随机游走,不是单调累积,但也对不齐。正确做法是读每一帧的 PTS,按真实时间排。

实测:把一小时换算成帧与样本

下面这段脚本用分数精确表示 29.97,计算不同时长下两种帧率的帧数差、对应的秒数漂移,以及 48kHz 下的样本差。同时算几个常见时间基的 tick 数和两种时间码标签。

from fractions import Fraction

f2997 = Fraction(30000, 1001)
print("1 frame = %.6f s" % float(1 / f2997))
for sec in (600, 1800, 3600, 7200, 14400):
    n2997 = int(sec * f2997)
    n30 = sec * 30
    diff = n30 - n2997
    print("%5ds: %7d vs %7d diff=%3d drift=%.3f s samples=%d"
          % (sec, n2997, n30, diff, diff / 30, diff * 1600))

print("48k samples per frame = %.3f" % (48000 / float(f2997)))
print("44.1k samples per frame = %.3f" % (44100 / float(f2997)))
print("10.5 s = %d / %d samples" % (48000 * 10.5, 44100 * 10.5))
print("90kHz ticks: %.0f / %.0f" % (90000 / float(f2997), 90000 / 30))

def df(frames):
    d, m = divmod(frames, 17982)
    f = frames + 18 * d + (2 * ((m - 2) // 1798) if m > 1 else 0)
    return "%02d:%02d:%02d;%02d" % (f // 108000, (f // 1800) % 60, (f // 30) % 60, f % 30)

print("frame 107892 DF =", df(107892))
print("frame 108000 NDF = 01:00:00:00, real = %.3f s" % (108000 / float(f2997)))

本机实际输出:

1 frame = 0.033367 s
  600s:   17982 vs   18000 diff= 18 drift=0.600 s samples=28800
 1800s:   53946 vs   54000 diff= 54 drift=1.800 s samples=86400
 3600s:  107892 vs  108000 diff=108 drift=3.600 s samples=172800
 7200s:  215784 vs  216000 diff=216 drift=7.200 s samples=345600
14400s:  431568 vs  432000 diff=432 drift=14.400 s samples=691200
48k samples per frame = 1601.600
44.1k samples per frame = 1471.470
10.5 s = 504000 / 463050 samples
90kHz ticks: 3003 / 3000
frame 107892 DF = 01:00:00;00
frame 108000 NDF = 01:00:00:00, real = 3603.600 s

前五行是核心结论:每十分钟漂 0.6 秒,每小时 3.6 秒,四小时 14.4 秒。样本差那一列是按 48kHz、每帧 1600 个样本粗算的,一小时有一十七万多个样本的错位,听起来很吓人,但它对应的正是 3.6 秒,和帧数差是同一件事的两种写法。

中间几行说明两把尺子不整除:每帧 1601.6 个样本,意味着不能整段整段地切,必须交替补零或补一个样本。44.1kHz 下的 1471.47 更碎,这也是为什么专业音频通常统一到 48kHz,减少转换次数。

最后两行是时间码的对照。第 107892 帧用丢帧规则写成 01:00:00;00,正好一小时;第 108000 帧用非丢帧写成 01:00:00:00,实际是 3603.6 秒。两个标签长得几乎一样,实际差了 3.6 秒,正是本文开头那个事故的量级。

工程上怎么查这一串数字

排查音画不同步,顺序比工具重要。先确认素材的帧率是精确值还是「29.97」这种近似写法,再看时间线的帧率,然后看首帧的 PTS 和音频首帧的 PTS,最后才看时长。很多人一上来就量总时长,量完发现差三秒,却不知道这三秒是从第一帧就开始偏,还是中途某处跳了一下。

检查项看什么典型异常值
视频帧率分子分母,例如 30000/1001显示 29.97 而不是分数
时间基tbn 分母1/1000 太粗,长片会取整漂移
首帧 PTS第一帧的显示时间不是 0,拼接处会跳
音频采样率44100 还是 48000和序列不一致且没重采样
音频起始首个音频样本的时间戳比视频晚几百毫秒
总帧数末帧 PTS 加一帧时长和时长乘帧率对不上

时间基太粗是个隐蔽的坑。有些封装用 1/1000 秒做时间基,一帧 33.3667 毫秒只能记成 33 或 34 个 tick,每帧都取整,几万帧之后误差就出来了。换用 1/90000 或 1/30000,所有常见帧率都能落在整数 tick 上,问题自然消失。

音频那边要确认有没有被重采样。44.1kHz 的素材放进 48kHz 工程,如果软件只是把采样率标签改了、样本没动,播放速度会快 8.8%,音调明显升高。正确的重采样会保持时长,只改变样本密度,这一点用总样本数就能验证:10.5 秒的素材,48kHz 应该是 504000 个样本,不是 463050 个。

不要在长片里用「平均帧率乘帧号」算时间。可变帧率、丢帧、B 帧重排都会让这个乘法失效。读到每一帧的 PTS 再算,误差只取决于时间基的粒度,不随时长累积。

边界与代价

对齐的代价首先是转换本身。每一次重采样、每一次变速、每一次插帧,都会改变样本或像素。重采样要滤波,高频会损失一点;变速会改变音调或需要相位声码器,处理不好会有「水下感」;插帧在快速运动上会糊。转换次数越多,累积损失越大。

第二个代价是精度和文件大小的权衡。时间基越细,时间戳数字越大,封装开销略增;用整数记录时间可以避免漂移,但需要六十四位或至少三十二位整数,老设备不一定支持。有些老格式干脆用毫秒,简单但有固有误差。

第三个代价是人的认知成本。丢帧时间码是一套反直觉的规则,分号和冒号只差一个字符,含义差三秒。团队里如果没有统一的约定,交接时几乎必然出错。规范里最好写明:本项目所有时间码使用哪种规则,交付物里是否带时间码轨。

第四个代价是兼容性。不同平台对 29.97、23.976 的支持程度不一样,有些上传后会自动转成 30,有些会保留原始帧率但重新打时间戳。交付前在目标平台播一遍,比在本地反复验证更可靠。

当天能自己验证的五个练习

  1. 用 fractions 模块把 30000/1001 和 29.97 分别乘 3600,比较帧数,看看差多少。
  2. 算一下 23.976 素材放 24 时间线,一小时漂多少秒,和 29.97 的情况对比。
  3. 找一个带时间码的文件,确认它用的是分号还是冒号,换算成真实秒,对比文件时长。
  4. 把一段 44.1kHz 音频在 48kHz 工程里播放,记录音调和时长变化,再重采样后对比。
  5. 读一个视频的逐帧 PTS,用相邻帧差值算实际帧率,和元数据里的帧率比对。

小结

三句话:29.97 是 30000/1001,不是 29.97,换算要用分数;时间基决定刻度,PTS 决定显示时刻,帧号和样本数不能互相直接换算;丢帧时间码丢的是编号不是画面,分号和冒号差着三秒多。

下一篇讲导出。时间轴对齐解决的是「素材怎么排」,导出还要面对「时钟怎么走」:编码器的缓冲、可变帧率、时间戳取整,任何一个环节把时间算错,成品就会越走越偏。前面十分钟正常、后面口型对不上,几乎都能在那几个环节里找到原因。