两年前给一个实验设备写录制工具。摄像头每秒 30 帧,每帧 64×48 的灰度图,采集线程把帧头和像素直接追加到 .dat 文件里。播放时从头读到尾,一直很正常。直到用户把文件拖到 1 分 40 秒,程序卡住十几秒,最后从第 0 帧开始播。文件 1.4GB,用户以为坏了。
问题不在解码,在寻址。这个文件只存了「帧长度加帧数据」,没有任何索引。想找第 3000 帧,只能从第一个字节开始,一帧一帧读长度、跳过数据,读完 3000 帧才知道目标在哪。更糟的是,解码要从关键帧开始,而文件里根本没记哪一帧是关键帧。
于是我们定了一个小格式,叫 SVF1,Simple Video Format 第 1 版。它只做三件事:用固定字段描述文件身份,用样本表记录每帧的位置和时间,用关键帧索引支持按时间二分查找。这篇讲格式设计,下一篇用 Python 把它真正实现出来,能封装、能解封装、能 seek。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 拖动进度条后从头开始播 | 文件没有索引,播放器无法定位目标帧,只能顺序扫描 | 看文件头有没有样本表偏移和关键帧索引 |
| seek 到了目标时间,画面却从别处开始 | 索引里的时间单位与文件头的 timescale 不一致 | 核对索引时间戳是否按同一 timescale 换算 |
| 录制超过 13 小时后时间戳回绕 | 32 位时间戳在 90000 的 timescale 下约 13.2 小时溢出 | 检查时间戳字段宽度和 timescale |
| 音频和视频在长时间播放后差几百毫秒 | 两条轨道用不同 timescale,换算时反复取整,误差累积 | 统一时间基准,或改用 64 位时间戳 |
| 文件超过 4GB 后偏移全错 | 样本偏移用 32 位存,超过 4GB 后溢出 | 确认 offset 字段是 64 位 |
| 索引指向的位置解不出画面 | 索引记的是显示顺序,实际文件按解码顺序存放 | 按解码顺序记录样本,用时间戳表达显示时间 |
| 在文件尾追加一帧后旧索引失效 | 索引偏移写死在头部,追加数据后没有重写 | 检查写入流程是否在关闭文件前重建索引 |
| 解码时读越界崩溃 | 样本的 offset 加 size 超过文件实际长度 | 读取每个样本前校验边界和文件总大小 |
顺序写文件,为什么不能 seek
顺序写的文件像一盘磁带。每一帧前面有个小头,记着这一帧多少字节,读完跳到下一帧。播放从头开始很顺,因为读取位置天然就是递增的。但想直接跳到第 3000 帧,没有任何信息告诉你它的字节偏移,只能把前面 2999 帧的头都读一遍。
读取本身不算慢,1.4GB 顺序扫一遍在 SSD 上几秒钟。慢的是解码。一帧压缩数据必须依赖前面的参考帧,就算你知道了第 3000 帧的偏移,也不能只解这一帧,得从它所属 GOP 的关键帧开始。文件里没记关键帧位置,就只能再往前扫,扫到某个帧头标记为「关键帧」为止。两件事叠加,用户看到的就是卡十几秒。
解决办法不是把帧数据重新排列,而是在文件里加两张表:一张记录每帧的偏移、大小、时间和关键帧标记;另一张只记录关键帧,按时间排序。播放器 seek 时先查关键帧表,找到目标时间之前最近的关键帧,再顺着样本表往后解码。这样无论文件多大,定位都是几次读取加一次二分查找。
这两张表就是索引。索引不改变帧数据,只增加一点文件体积,换来随机访问能力。MP4 的 moov、MKV 的 cues、MPEG-TS 的 PCR 加随机访问点,本质上都在做同一件事。
先把布局定下来
SVF1 的布局是固定的五段:文件头、轨道表、样本表、帧数据、关键帧索引。前两段和样本表在文件开头,帧数据紧随其后,索引放在文件末尾。所有多字节字段用小端序存放,这一点必须写进规范,否则不同平台读出来的值完全不一样。
为什么把索引放末尾而不是头部?因为录制时索引还没生成。帧数据一边录一边追加,只有录完才知道总帧数和关键帧位置。录完再在末尾写索引,头部预留的 index_offset 字段回填即可。这和 MP4 把 moov 放末尾是同一个原因。代价是网络播放要先取文件尾,本地播放无所谓。
为什么样本表放头部?因为播放一开始就需要知道总帧数和第一帧位置,样本表在头部可以一次读完。它的长度随帧数线性增长,120 帧只占 2880 字节,两小时 30 帧的视频会到 5MB 左右,仍然可以接受。如果帧数再多,就要考虑分片,把样本表切成多段。
下面这段代码定义了四个结构体,后面的所有读写都基于它。字段顺序和字节数必须严格对应,Python 的 struct 会按格式字符串自动对齐,但这里用的是标准大小,不会插入填充字节。
import struct
HEADER = struct.Struct("<4sHHIIHHIII") # 32 字节
TRACK = struct.Struct("<HBBHHIIII") # 24 字节
SAMPLE = struct.Struct("<QIIIHH") # 24 字节
INDEX = struct.Struct("<IIQ") # 16 字节
print(HEADER.size, TRACK.size, SAMPLE.size, INDEX.size)
本机输出是 32 24 24 16,和设计一致。格式字符串里的 < 表示小端序,后面的字母依次是:s 是字节串,H 是两字节无符号整数,I 是四字节无符号整数,B 是一字节无符号整数,Q 是八字节无符号整数。
文件头:32 字节说清楚身份和时间
文件头是读取文件的入口。它要回答四个问题:这是不是 SVF1、版本是多少、时间怎么换算、索引在哪。字段排布如下,偏移是从文件开头算起的字节位置。
| 偏移 | 字段 | 类型 | 含义 |
|---|---|---|---|
| 0 | magic | 4 字节 | 固定为 ASCII 的 SVF1,用来快速识破改后缀的文件 |
| 4 | version | u16 | 格式版本,当前为 1,读取端遇到不认识的主版本应拒绝 |
| 6 | flags | u16 | 保留标志位,当前全为 0,留给以后表示是否分片、是否加密 |
| 8 | timescale | u32 | 每秒多少个时间单位,1000 表示一个单位等于 1 毫秒 |
| 12 | duration | u32 | 总时长,单位是 timescale,不是毫秒 |
| 16 | track_count | u16 | 轨道数量,当前只支持 1 条视频轨 |
| 18 | header_size | u16 | 文件头自身长度,固定 32,方便以后扩展 |
| 20 | index_offset | u32 | 关键帧索引在文件中的绝对偏移 |
| 24 | index_count | u32 | 索引条目数,也就是关键帧数量 |
| 28 | reserved | u32 | 保留,写 0,读取时忽略 |
magic 放在最前面,是为了让读取端在花力气解析之前就能判断文件类型。改后缀的 .mkv 会在这里露出 1A 45 DF A3,而不是 SVF1。version 单独留两个字节,是为了以后能加字段而不破坏旧文件。header_size 则是给未来的自己留门:如果第 2 版要在头部加色彩空间字段,旧读取端可以按 header_size 跳过。
index_offset 用 32 位,意味着文件最大 4GB。这是一个明确的限制。如果需要更大,可以改成 64 位,或者把索引分片放。样本表里的 offset 已经用了 64 位,所以单帧位置不受 4GB 限制,真正卡住的是索引起点和文件总长。
轨道表与样本表:每帧的地址簿
轨道表描述「这个文件里有什么」。每条轨道 24 字节,字段包括编号、类型、编码、宽高、时间基准、时长和样本数。当前只有一个视频轨,但结构上允许以后加音频轨。
| 偏移 | 字段 | 类型 | 含义 |
|---|---|---|---|
| 0 | track_id | u16 | 轨道编号,从 1 开始,音频轨可以用 2 |
| 2 | track_type | u8 | 1 表示视频,2 表示音频,3 表示字幕 |
| 3 | codec_id | u8 | 1 表示帧内 RLE 加差分,下一篇实现的就是它 |
| 4 | width | u16 | 画面宽度,像素 |
| 6 | height | u16 | 画面高度,像素 |
| 8 | timescale | u32 | 这条轨道自己的时间基准 |
| 12 | duration | u32 | 这条轨道的时长,单位是它自己的 timescale |
| 16 | sample_count | u32 | 这条轨道的帧数 |
| 20 | reserved | u32 | 保留,写 0 |
轨道表里重复存了 timescale 和 duration,文件头里也有。这不是冗余设计的失误,而是为多轨道做准备:每条轨道可以有自己的时间基准,文件头的 timescale 只作为全局参考。当前只有一条轨,两个值相同,读取时以轨道表为准。
样本表是真正的地址簿,每帧一条,24 字节。播放器拿到它,就能在不读帧数据的情况下知道每一帧在哪、多大、什么时候显示、是不是关键帧。
| 偏移 | 字段 | 类型 | 含义 |
|---|---|---|---|
| 0 | offset | u64 | 这一帧数据在文件中的绝对偏移 |
| 8 | size | u32 | 这一帧压缩后的字节数 |
| 12 | timestamp | u32 | 显示时间,单位是轨道 timescale |
| 16 | duration | u32 | 这一帧显示多久,单位同上 |
| 20 | flags | u16 | 位 0 为 1 表示关键帧,其余位保留 |
| 22 | reserved | u16 | 保留,写 0 |
offset 用 64 位是硬要求。1.4GB 的文件在 32 位偏移下勉强够用,但超过 4GB 就会溢出成负数或回绕,读出来的位置完全错。size 用 32 位,单帧几百 KB 到几 MB 都够,除非是无损 8K 帧,才需要更大的字段。
flags 里只用了最低位表示关键帧,剩下十五位留给以后,比如标记「这一帧是 IDR」「这一帧有 alpha」「这一帧是丢弃帧」。读取时按位与判断,不要假设整个字段只有 0 和 1 两个值。
索引与时间:二分查找和 timescale
关键帧索引放在文件末尾,每条 16 字节:时间戳、样本序号、文件偏移。三个字段里有两个是冗余的,样本序号可以查到偏移,偏移也能反推样本。那为什么都存?因为 seek 时希望只读索引就能直接跳到数据,不用再读一遍样本表。16 字节换一次读取,很划算。
| 偏移 | 字段 | 类型 | 含义 |
|---|---|---|---|
| 0 | timestamp | u32 | 这个关键帧的显示时间,单位是 timescale |
| 4 | sample_index | u32 | 它在样本表中的序号,从 0 开始 |
| 8 | offset | u64 | 它的帧数据在文件中的绝对偏移 |
索引必须按时间升序排列。seek 到目标时间 t 时,用二分查找找到最后一个时间戳小于等于 t 的条目,那就是目标所在 GOP 的起点。然后从 sample_index 开始,顺着样本表解到目标帧。整个过程不需要扫描前面的帧,定位成本和文件大小是对数关系。
这里的关键是时间单位。timescale 是「每秒多少个时间单位」。timescale 等于 1000 时,一个单位就是 1 毫秒,第 30 帧的时间戳是 990,因为 30 帧每秒、每帧 33 毫秒,第 30 帧从 990 毫秒开始。timescale 等于 90000 时,同样第 30 帧的时间戳是 90000 除以 30 再乘 30,等于 90000,单位不是毫秒。
毫秒时间戳:直观,但精度有限
timescale 取 1000,时间戳直接就是毫秒,调试时一眼能看懂。代价是 30 帧每秒时每帧间隔 33.33 毫秒,只能取整到 33 或 34,长时间累积会有偏差。适合帧率固定、时长不长的录制。
高 timescale:精度高,但要做换算
取 90000 是视频行业惯例,能整除 24、25、30 等常见帧率,音画对齐更准。代价是读日志时要在脑子里除以 90000。32 位在 90000 下约 13.2 小时溢出,长录制要用 64 位。
ms_to_ticks(ms, timescale),所有地方都调它。手写乘法除法,迟早会在某一处漏掉 timescale。还有一个细节是取整方向。把毫秒转成 tick,应该向下取整还是四舍五入?对 seek 来说,向下取整更安全,因为它保证找到的关键帧不晚于目标时间。四舍五入可能让目标时间往前跳一帧,播放器会显示比用户想要更早的画面。音画对齐则通常用四舍五入,因为两边都要尽量靠近真实时间。同一个换算,两个场景用不同策略,这一点要在规范里写清楚。
一段真实的十六进制
下面是一个实际生成的 SVF1 文件的前 32 字节,也就是文件头。逐组对照上面的字段表,可以手算出整个文件的时间参数。
53 56 46 31 01 00 00 00 e8 03 00 00 78 0f 00 00
01 00 20 00 60 54 00 00 04 00 00 00 00 00 00 00
解读:前四字节 53 56 46 31 是 SVF1;版本 01 00 是 1;flags 为 0;timescale 是 e8 03 00 00,小端读出来 0x3e8,等于 1000;duration 是 78 0f,等于 3960,也就是 3.96 秒;轨道数 1;头部长度 0x20,等于 32;索引偏移 0x5460,等于 21600;索引条目 4 个;最后一个保留字段为 0。
紧接着 24 字节是轨道表:01 00 是轨道 1,01 是视频,01 是编码 1,40 00 是宽 64,30 00 是高 48,e8 03 是 timescale 1000,78 0f 是时长 3960,78 00 是样本数 120,最后四个字节保留为 0。
01 00 01 01 40 00 30 00 e8 03 00 00 78 0f 00 00
78 00 00 00 00 00 00 00
第一条样本记录从第 56 字节开始,24 字节长。它的偏移是 0x0b78,等于 2936,正好是文件头 32 加轨道表 24 加 120 条样本表的 2880 字节。大小 0x0180 等于 384,时间戳 0,时长 0x21 等于 33,flags 为 1,说明是关键帧。
78 0b 00 00 00 00 00 00 80 01 00 00 00 00 00 00
21 00 00 00 01 00 00 00
文件末尾的索引 64 字节,四条记录,每条 16 字节。第一条时间戳 0、样本 0、偏移 2936;第二条时间戳 990、样本 30、偏移 7592;第三条 1980、样本 60、偏移 12220;第四条 2970、样本 90、偏移 16940。四个关键帧正好每秒一个,和编码时设定的间隔 30 帧对得上。
00 00 00 00 00 00 00 00 78 0b 00 00 00 00 00 00
de 03 00 00 1e 00 00 00 a8 1d 00 00 00 00 00 00
bc 07 00 00 3c 00 00 00 bc 2f 00 00 00 00 00 00
9a 0b 00 00 5a 00 00 00 2c 42 00 00 00 00 00 00
整个文件 21664 字节,索引从 21600 开始,占 64 字节,正好到文件尾。样本表结束在 2936,帧数据从 2936 到 21600,共 18664 字节,平均每帧 155 字节。这个比例说明差分加 RLE 对这种合成画面很有效,原始 120 帧如果按 64×48 单字节存,要 368640 字节。
边界与代价
SVF1 是为「小型录制工具、单视频轨、需要 seek」这个场景设计的,不是通用格式。它的字段宽度、索引位置和编码方式都带着明确的边界,越界使用会出问题。
| 设计选择 | 换来什么 | 代价或边界 |
|---|---|---|
| 索引放文件尾 | 录制时可以顺序追加,不用预知总帧数 | 网络播放要先取尾部,起播多一个往返 |
| 时间戳 32 位 | 字段短,样本表小 | timescale 90000 时约 13.2 小时溢出 |
| 索引偏移 32 位 | 头部紧凑 | 文件最大 4GB |
| 单一视频轨 | 结构简单,实现快 | 要加音频就得改版本,旧读取端不认 |
| 帧数据连续存放 | 写入简单,顺序读快 | 插入或删除帧要重写整份文件 |
| 索引只记关键帧 | 体积小,二分查找快 | 不能精确跳到任意帧,仍要解码到目标 |
还有一个隐含边界是并发。SVF1 假设一个写入者、一个读取者。多个进程同时追加,样本表会错位;读取时文件正在写,索引可能还没生成。实际使用要在文件头里加一个状态位,或者写完后改名,保证读取端只看到完整文件。
最后一个代价是扩展性。现在只有视频轨,加音频时要决定音频样本表和视频样本表怎么共享时间轴。最直接的做法是每条轨道一张样本表,索引按轨道分开。这样 seek 时视频和音频各自找自己的关键帧,再按时间对齐。结构会复杂一些,但比把所有东西塞进一张表清晰。
当天能自己验证的五个练习
- 用十六进制工具打开一个自己生成的小文件,按字段表手算 timescale、duration 和 index_offset,确认和代码里的值一致。
- 把 timescale 从 1000 改成 90000,重新生成同一段 4 秒视频,比较文件头和样本表里的时间戳数值。
- 故意把某条样本的 offset 改大 100 字节,用读取端跑一遍,观察它是报错还是读出乱码,补上边界校验。
- 把索引条目按时间倒序写,跑一次二分查找,确认结果错误,然后改回升序。
- 算一下你的录制时长在 32 位时间戳、timescale 90000 下的溢出时间,判断要不要提前换成 64 位。
小结
三句话:顺序写的文件没有地址信息,seek 只能从头扫;SVF1 用 32 字节文件头、24 字节轨道表、24 字节样本表和 16 字节关键帧索引,把身份、时间和位置固定下来;时间戳的单位是 timescale,不是毫秒,换算策略要统一。
下一篇把这个规范变成能跑的程序。我们会用 Python 标准库生成 120 帧、封装成 .svf1、打印文件字节数,然后在 0.5 秒、2.2 秒、3.9 秒三个位置做 seek,验证命中的关键帧序号和解码结果。规范里每个字段都会在代码里出现一次。