一个 1.8GB 的 1080p 会议录像,时长一小时二十分。用浏览器打开,往 1:08:35 拖,进度条先转了两秒,画面才出来,而且最开始那一下明显发糊,过半秒才变清楚。换到本地播放器,同样的位置,等待短了很多。文件没坏,网络也不慢,问题在视频内部的帧结构。
视频不是一帧一帧独立存的。为了省空间,编码器只把第一帧完整存下来,后面的帧只存「和前一帧的差别」。于是想跳到中间某一帧,播放器不能直接读那一帧,它必须找到这一组帧的起点,从头解到目标位置。这个起点就是关键帧,也叫 I 帧。等待的时间,基本等于从关键帧解到目标帧的时间。
这篇把帧间预测讲清楚:I、P、B 三种帧各自存什么,运动估计怎么找相似块,残差为什么是压缩的关键,GOP 和关键帧间隔怎么决定 seek 成本。看完你就能算出一个视频拖动要等多久,也能理解为什么剪辑软件总让你对齐关键帧。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 拖进度条转圈两秒才出画面 | 目标位置在 GOP 中间,要从上一个关键帧顺序解码过来 | 用 ffprobe 看关键帧间隔,算一下平均要解多少帧 |
| 拖过去后画面先糊一下再变清楚 | 播放器先显示最近的关键帧作预览,再继续解码到目标帧 | 看播放器是否有 seek preview,或直接比较关键帧与目标帧的画质 |
| 剪辑切点之后画面花屏或闪一下 | 切在 P 帧或 B 帧上,后续帧缺少参考帧 | 查切点是否为关键帧,剪辑软件是否强制重新编码 |
| 把关键帧间隔调小后文件大了三成 | I 帧比 P 帧大很多,关键帧越密,总码率越高 | 比较调整前后的码率和 I 帧占比 |
| 同样 4Mbps,运动画面比静态画面糊 | 运动大时预测不准,残差数据多,同样的码率要分给更多信息 | 看内容复杂度和编码器的码率分配策略 |
| 直播新观众要等十几秒才出画面 | 编码器 GOP 太长,新连接要等下一个关键帧 | 看关键帧间隔和编码器的 IDR 间隔设置 |
| 倍速播放时 CPU 占用飙升 | B 帧需要重排和双向参考,解码链更长,倍速还要丢帧 | 看编码是否开启 B 帧,是否启用硬件解码 |
| 转码后 seek 明显变慢 | 转码时把关键帧间隔从 2 秒改成了 10 秒 | 比较转码前后的 GOP 长度和关键帧数量 |
进度条不是想拖就拖
先建立一个大致的模型:一段视频被切成若干组,每组叫一个 GOP(Group of Pictures,图像组)。每组的第一帧是关键帧,完整记录画面;组内其余帧只记录相对前一帧或前后帧的变化。播放器拿到一个 seek 请求,先算出目标时间落在哪一组,从这一组的关键帧开始解码,一帧一帧解到目标位置。
所以 seek 的成本不是「读目标帧那几 KB」,而是「从关键帧到目标帧的所有帧都要解一遍」。目标越靠近组尾,要解的帧越多。一个 30 帧每秒、关键帧间隔 250 帧的视频,GOP 长度约 8.3 秒,平均要解 125 帧,最坏要解 250 帧。
这就是为什么同一个文件在本地播放器里 seek 快、在浏览器里慢。本地播放器可以直接跳到文件任意位置读数据,解码也全在本机;浏览器还要通过 HTTP 取数据,如果索引不在手边,取数据本身就要等。上一篇文章讲的 moov 前置,解决的正是「索引在哪」的问题;这一篇讲的关键帧,解决的是「解码从哪开始」的问题。
还有一个影响因素是解码速度。软件解 1080p H.264 大概每秒 200 到 400 帧,硬件解码可以到上千帧。按 300 帧每秒算,解 250 帧要 0.83 秒,解 50 帧只要 0.17 秒。这还没算取数据和初始化解码器的时间,实际体感往往更慢。
一帧画面怎么被压:I、P、B
编码器把视频里的帧分成三类。I 帧是帧内编码,只用自己的像素做压缩,不参考任何其它帧,相当于一张独立的 JPEG。它是随机访问的入口,也是整组帧的地基。
P 帧是前向预测帧,参考前面已经解码的帧。它把当前画面切成很多小块,每块去前一帧里找最相似的位置,只记录「差多少」和「往哪边移了」。找得准,残差就小,编码后占的字节就少。
B 帧是双向预测帧,同时参考前面和后面的帧。它能把遮挡、旋转这类运动预测得更准,压缩效率最高。代价是解码顺序不能等于显示顺序:要显示 B 帧,得先解它后面参考的那一帧,所以文件里存的是解码顺序,播放器要按时间戳重排。
| 帧类型 | 参考谁 | 典型大小 | 作用 |
|---|---|---|---|
| I 帧 | 不参考,独立编码 | 100KB 到 200KB | 随机访问入口,GOP 起点 |
| P 帧 | 前面的 I 或 P 帧 | 10KB 到 30KB | 记录前向变化,压缩主力 |
| B 帧 | 前后两边的帧 | 5KB 到 15KB | 双向预测,效率最高但解码更复杂 |
上面的数字是 1080p、4Mbps 左右的常见量级,具体会随内容和编码器变化。重点不在绝对值,而在比例:一个 I 帧可能顶十几个 P 帧。所以关键帧越密,文件越大;关键帧越稀,seek 越慢。这是一条直接的取舍线。
还有一种特殊的 I 帧叫 IDR 帧,Instantaneous Decoder Refresh,解码器刷新帧。它不仅自己独立,还会清空参考帧列表,保证它之后的帧不会参考它之前的任何内容。普通 I 帧在某些编码器里仍可能被后续 P 帧参考,IDR 则是真正的干净起点。直播切段、随机访问通常要求 IDR。
顺带纠正一个常见误解:I 帧独立,不等于 I 帧无损。I 帧同样会做变换和量化,只是不参考其它帧。把 I 帧单独抽出来看,画质可能比周围帧好一些,因为分给它的码率更多,但它仍然是有损压缩的产物。反复抽帧再编码,损失照样会累积。
全关键帧:每帧都能直接解
相当于一串 JPEG,seek 瞬间完成,剪辑切哪都行。代价是文件可能大两三倍,因为每帧都要完整记录,帧间冗余完全没用上。适合短视频素材和需要精确剪辑的中间格式。
长 GOP:一帧完整带几十上百帧
压缩效率高,同码率下画质更好,文件更小。代价是 seek 要顺序解码,切点必须对齐关键帧,丢一个关键帧后面一片都解不出来。适合最终分发和网络播放。
运动估计与残差:压缩到底省在哪
帧间预测的核心是「找相似」。编码器把当前帧切成 16×16 或更小的块,每个块到参考帧里搜索一个最像的位置。搜索范围通常限制在周围几十像素内,因为真实运动大多是连续的。找到之后,记录一个运动矢量,表示「这个块从参考帧的哪个位置搬过来」。
搬过来之后不会完全一样,光照、形变、遮挡都会造成差异。编码器把「当前块减去预测块」得到的差值叫残差,再对残差做变换、量化和熵编码。运动矢量本身也要编码,但通常比残差小得多。整条链路省下来的,就是「不用重复存一遍相同内容」的那部分。
这也解释了「为什么运动画面更吃码率」。画面动得越快、越复杂,找相似越难,残差越大,同样的码率就要在更多数据之间分摊,细节被压得更多。静态的访谈画面,背景几乎不变,P 帧可以只花几 KB;一场足球赛,草地纹理、球员跑动、镜头平移同时发生,P 帧可能要几十 KB。同样标称 4Mbps,两者的观感差很远。
运动估计还有一层工程取舍。搜索范围越大、块划分越细,找到的匹配越好,压缩效率越高,但编码越慢。编码器的 preset 就在调这个:slow 会尝试更多划分和搜索,fast 只做粗略匹配。这也是为什么同一个 CRF,slow preset 出来的文件更小、更清晰,但编码时间可能翻几倍。
GOP 与关键帧间隔:一条直接的取舍线
GOP 长度通常用帧数或秒数表示。编码器参数里常见 -g 250 这样的写法,意思是每 250 帧插一个关键帧;30 帧每秒时就是 8.3 秒一个。也有的工具用「关键帧间隔 2 秒」这种说法,换算一下就是 60 帧。
GOP 不是越长越好,也不是越短越好。长 GOP 压缩效率高,因为 I 帧少,绝大多数帧都能靠预测;短 GOP 随机访问快,因为最多只解几十帧。选择取决于视频怎么用:点播看重视角体验和体积,直播看重新连接的速度,剪辑看切点自由度。
除了长度,GOP 还有结构。常见的有 IPPP,只有前向预测,解码简单;IBBP,插入 B 帧,压缩更高但需要重排;还有层级 B 帧,把 B 帧分成多层,进一步提高效率。层级越复杂,解码延迟越大,对硬件解码器的要求也越高。
PTS 是显示时间戳,告诉播放器这一帧该在什么时候出现在屏幕上;DTS 是解码时间戳,告诉解码器什么时候开始解这一帧。没有 B 帧时两者通常一致,有 B 帧时 DTS 会早于 PTS。封装格式里这两个时间戳都要存,缺一个就可能出现音画不同步或者帧序错乱。
还有一个容易踩的坑:把关键帧间隔设成 0 或者很大的值,让编码器「按场景自动插关键帧」。这样在镜头切换处确实会有 I 帧,但两段静态画面之间可能很长时间没有关键帧,seek 到那段就会很慢。显式设置一个上限,比如最长 10 秒一个关键帧,比完全交给自动判断更可控。
场景切换检测也有代价。编码器每一帧都要和前一帧做比较,判断画面变化是否超过阈值,超过就插一个 I 帧。这个判断本身要花 CPU,阈值设得低,I 帧会频繁插入,码率上去;设得高,镜头切换处可能还是用 P 帧硬撑,画质会明显下降。大多数编码器把这项和固定间隔一起用,两个条件满足任意一个就插关键帧。
seek 到底做了什么:一段可以算的账
下面这段 Python 不涉及真实解码,只按帧号和 GOP 长度算 seek 需要解码多少帧。它模拟一个两小时、30 帧每秒的视频,在 1:08:35.2 这个位置拖动,比较三种关键帧间隔下的解码量。
FPS = 30
TOTAL = 2 * 3600 * FPS
TARGET = 123456 # 约 1:08:35.2
DECODE_FPS = 300 # 软件解码 1080p 的大致速度
for gop in (250, 50, 25):
start = TARGET // gop * gop
frames = TARGET - start + 1
print(f"gop={gop:>3} start={start:>6} frames={frames:>3} "
f"decode={frames / DECODE_FPS:.3f}s")
print(f"total_frames={TOTAL} target_ts={TARGET / FPS:.1f}s")
本机实际输出:
gop=250 start=123250 frames=207 decode=0.690s
gop= 50 start=123450 frames= 7 decode=0.023s
gop= 25 start=123450 frames= 7 decode=0.023s
total_frames=216000 target_ts=4115.2s
关键帧间隔 250 帧时,目标帧落在组内第 207 帧,要解 207 帧,按 300 帧每秒算约 0.69 秒。间隔 50 帧时只落在组内第 7 帧,0.02 秒就解完。这还没算取数据、初始化解码器、渲染首帧的时间,所以体感的两秒里有很大一部分是 GOP 长度造成的。
注意 50 帧和 25 帧在这一点的结果一样,因为 123456 除以 50 和除以 25 的余数都落在第 6 帧附近。平均来看,间隔 50 帧的平均解码量是 25 帧,间隔 250 帧是 125 帧,差五倍。最坏情况差十倍。这就是为什么把关键帧间隔从 10 秒改到 2 秒,seek 体验会有肉眼可见的提升。
播放器的 seek 还分两种。精确 seek 会解到目标帧,画面准确但慢;快速 seek 只跳到最近的关键帧,先显示那一帧,等后台解到目标再替换。后者就是「先糊一下」的来源之一,因为关键帧可能属于上一个镜头,和你要看的内容差了几秒。另一些播放器会用低分辨率预览帧,观感也会糊。
-ss 放在输入前面是快速 seek,会跳到目标之前的关键帧再开始解码;放在输出前面是精确 seek,会解到目标时间。做截图或抽帧时,两种写法的结果可能差好几秒,脚本里要写清楚要哪一种。边界与代价
关键帧不是免费的午餐。它买来的是随机访问能力,付出的是码率和存储。这个取舍在分发、剪辑、直播三个场景里的答案并不一样。
| 场景 | 推荐 GOP | 原因 |
|---|---|---|
| 网页点播 | 2 到 5 秒 | seek 要快,CDN 缓存也按分片切,太长会影响起播 |
| 长视频归档 | 8 到 10 秒 | 体积优先,偶尔 seek 慢一点可以接受 |
| 直播 | 1 到 2 秒 | 新观众要尽快等到关键帧,延迟也要控 |
| 剪辑中间格式 | 每帧都是 I 帧 | 任意切点都能解,代价是文件大 |
| 监控录像 | 1 到 4 秒 | 回放要快速定位,存储成本也要控 |
还有一个代价是错误传播。P 帧依赖前面的参考帧,一旦某个关键帧损坏,后面整组都可能花屏,直到下一个关键帧才恢复。所以关键帧除了随机访问,还承担「重新同步」的作用。关键帧间隔太长,一次坏包影响的时间也更长。
最后一个边界是硬件解码。手机和电视的硬件解码器对 B 帧层级、参考帧数量有上限,超过就可能退回软件解码,耗电和发热都会上去。给移动端做分发时,编码参数不是越先进越好,能在目标设备的硬件解码器上跑起来,比多省 5% 码率更重要。
当天能自己验证的五个练习
- 用
ffprobe -show_frames输出一个视频前 300 帧的帧类型,数一数 I、P、B 各有多少,估算 GOP 长度。 - 用上面的脚本改几个目标帧号,记录每种 GOP 下的解码帧数,找出最坏情况。
- 把同一个源分别用
-g 250和-g 50转码,比较文件大小和拖动同一个位置的等待时间。 - 用
ffmpeg -ss 68:35 -i input.mp4 -frames:v 1 out.png抽一帧,再把-ss放到输出参数前,比较两张图是否同一帧。 - 找一个带 B 帧的文件,用 ffprobe 看 PTS 和 DTS 是否相等,记录差了多少。
小结
三句话:I 帧完整独立,是随机访问的入口;P 帧和 B 帧只存运动矢量和残差,靠参考帧才能解;seek 要从目标所在 GOP 的关键帧顺序解码,所以关键帧越稀,拖动越慢。GOP 长度就是压缩效率和随机访问之间的那条取舍线。
下一篇讲码率和清晰度。很多人以为把 2Mbps 的文件转成 4Mbps 就会更清楚,结果文件大了一倍,画面反而更糊。原因在分辨率、编码参数和内容复杂度的配合,跟「码率数字大不大」不是一回事。