一个做直播的团队遇到过这样的故障:主播端网络抖了一下,连续丢了几个音频包。观众端的播放器先是声音停住,接着整个页面卡了七八秒,日志里只留下「等待音频数据」这一行。奇怪的是,视频画面还在走,说明网络没有断,问题出在音频解析。

他们把音频存成了 WAV 直接推流。WAV 是文件格式,头部只有一份,里面写着总长度和采样率;推流时如果中间丢包,播放器不知道下一段从哪里开始,也不知道这一帧有多长,只能一直等。等不到就卡死,或者把后续字节错当成样本,放出一段刺耳的噪声。

要解决这类问题,需要一个为流式传输设计的格式:每一帧都能独立定位,帧头写明长度、序号和时间戳,丢了一帧也能跳过继续。这篇定义一套叫 SAUD 的格式,把文件头、帧头、声道、位深、帧长和时间戳逐字节定清楚。下一篇再实现编码器和解码器,模拟丢帧并做补偿。

现象真实原因第一步查什么
丢几个包后播放器卡死好几秒格式没有帧边界和长度字段,解析器不知道下一帧在哪检查每帧是否自带 payload 长度和固定帧头
播放越久,声音比画面慢得越多时间戳用样本序号推算,设备晶振偏差不断累积看时间戳是按毫秒还是按样本数生成,是否与墙钟对齐
左右声道听起来反了交错顺序没有写进格式,编码端和解码端约定不一致确认头部写了声道数,并固定先左后右
24 位音频解码后数值乱跳3 字节样本没有按 3 字节解包,或者符号扩展写错看位深字段和打包规则是否明确
48kHz 和 44.1kHz 的流混在一起播采样率只写在第一帧,或者根本没写确认文件头固定采样率,混流在边缘做重采样
同一帧被重传后播放了两遍没有序号,解码器无法判断重复给每帧加单调递增的序号,按序号去重
连续直播 49 天后时间戳突然归零32 位毫秒时间戳溢出,约 49.7 天一个周期改用 64 位毫秒,或者明确回绕规则
文件尾部读出一半样本就报错总帧数不可信,或者最后一帧被截断逐帧读长度,先检查剩余字节够不够一帧

为什么不能直接拿 WAV 推流

WAV 的设计目标是「一个完整的文件」,不是「一串可以边收边播的数据」。它的头部在文件最前面,写着采样率、声道数、位深和总长度;之后是一整块连续的样本。播放器要先读到完整的头,才能知道怎么解释后面的字节。

这在本地播放没问题,因为文件是完整的。但在直播里,数据是一段一段到的,中间可能丢、可能乱序、可能重复。WAV 没有帧标识,也没有每帧的长度,丢了中间一段之后,播放器无法知道下一段从哪里开始。更糟的是,它没有序号,无法判断收到的是新数据还是重传的旧数据。

有人会用「每帧固定 480 个样本」来绕过这个问题,只要采样率和声道固定,帧长确实可以算出来。但固定帧长只能解决定位,解决不了时间戳、丢包检测和格式版本。只要稍微改一下声道数或位深,旧播放器就会按错误的帧长解析,越读越偏。

所以自定义格式要把这些信息写进头部,并且让每一帧都自带足够的元数据。头部负责声明「这条流整体是什么」,帧头负责声明「这一小段是什么、什么时候该播」。两层分工,缺一不可。

SAUD 的采集与封装流程
采集回调拿到样本
按 480 样本切片
写帧头与序号
写样本数据
发送或落盘

定字段:28 字节文件头

SAUD 的文件头固定 28 字节,全部用小端。字段不多,但每一个都要有明确的含义和范围。下面这张表是格式的正式定义,偏移从 0 开始。

偏移字段类型与字节取值与说明
0magic4 字节 ASCII固定为 SAUD,用来快速识别文件类型
4versionuint8当前为 1,解码器遇到不认识的版本应拒绝
5channelsuint81 表示单声道,2 表示立体声,最多支持 8
6bitsuint8每个样本的位数,支持 8、16、24
7reserveduint8保留,必须写 0,方便以后扩展
8sample_rateuint32每秒样本数,示例用 48000
12frame_samplesuint16每帧样本数,示例用 480
14frame_bytesuint16每帧样本区字节数,单声道 16 位时为 960
16total_framesuint32总帧数,0 表示长度未知,适合直播
20timestamp_baseuint64第一帧的毫秒时间戳,后续帧在此基础上递增

magic 的作用不是好看。解码器拿到一段字节,第一件事就是确认前四字节是不是 SAUD;如果不是,直接报「不是本格式」,不要继续解析。很多解析器崩溃,都是因为对任意输入都假设格式正确,读到越界或者长度为负的值。

version 单独留一个字节,是为了以后改结构时不至于让旧解码器猜。新版本可以加字段、改时间戳精度,旧解码器看到版本号不认识,就明确拒绝,而不是读出一堆错位的数据。这个字段现在看起来多余,等格式上线一年后就知道值。

channels 和 bits 决定每帧的样本区大小。示例是单声道、16 位、480 个样本,所以样本区是 480 乘 2,等于 960 字节。frame_bytes 把这个值单独写出来,是为了让解码器在读到帧头之前就能算出帧总长,也方便以后支持可变帧长时保持兼容。

total_frames 写成 0 表示未知,这是给直播留的。直播开始时没人知道会播多久,硬填一个数只会让播放器提前停止。文件录制结束时可以回填真实值,或者干脆保持 0,让解码器读到文件尾自然结束。

timestamp_base 用 64 位毫秒,而不是 32 位。32 位毫秒大约 49.7 天就溢出,连续直播、监控录像、长时间会议都可能撞上。64 位毫秒的跨度足够大,实际项目里不用考虑回绕。

每帧 16 字节帧头

帧头固定 16 字节,后面紧跟样本数据。字段顺序和文件头一样,全部小端。序号、时间戳、长度、标志四个字段,刚好覆盖丢包处理、同步和扩展的需求。

偏移字段类型与字节说明
0sequint32帧序号,从 0 开始单调递增,用于去重和丢包检测
4timestamp_msuint64这一帧的播放时间,毫秒,来自采集时钟或墙钟
12payload_lenuint16样本区字节数,正常等于 frame_bytes
14flagsuint16位标志,bit0 表示静音帧,bit1 表示最后一帧

seq 和 timestamp_ms 是两套独立的定位方式。seq 告诉你「这是第几帧」,用来发现中间缺了哪几帧;timestamp 告诉你「这一帧应该在什么时间播」,用来和视频、字幕、其他音轨对齐。两者不能互相替代,后面会详细讲。

payload_len 允许不等于 frame_bytes,是为了兼容可变帧长和最后一帧不满的情况。解码器不能假设每帧都是 960 字节,必须先读长度,再检查剩余字节够不够。长度超过一个上限时直接拒绝,避免恶意文件让程序申请巨大内存。

flags 现在只用了两个位,其余保留。静音帧可以让编码器跳过写入实际样本,节省空间;最后一帧标记让流式解码器知道可以收尾,不用等超时。保留位必须写 0,解码器忽略不认识的位,这样以后加标志不会破坏旧实现。

帧长为什么选 480 个样本

48kHz 下 480 个样本正好 10 毫秒。这个数字不是随便挑的,它在延迟、开销和丢包粒度之间取了一个折中。帧太短,帧头开销占比高;帧太长,丢一帧就是几十毫秒的空白,补偿起来更难。

帧样本数时长帧总字节帧头开销占比丢一帧的空白
1202.5ms2566.25%2.5ms
2405ms4963.23%5ms
48010ms9761.64%10ms
96020ms19360.83%20ms
192040ms38560.41%40ms

这张表按单声道 16 位算:样本区是帧样本数乘 2,帧总字节再加 16 字节帧头。120 样本时,帧头占了 6.25%,也就是说近十六分之一的带宽在传元数据;480 样本时降到 1.64%,已经可以接受;再往上加,开销省得不多,延迟和丢包影响却明显变大。

10 毫秒还有一个好处:它和很多实时音频框架的默认块大小接近,采集回调、编码线程、发送线程的节拍容易对齐。用 10 毫秒做单位,时间戳是整数毫秒,不用处理小数;换算成样本数也是整数,不会每帧累积取整误差。

如果做的是语音通话,可能会选更短的帧来降延迟,比如 5 毫秒甚至 2.5 毫秒;如果做的是音乐归档,可能会选 20 毫秒或更长来减少开销。帧长没有唯一正确答案,关键是把选择写进头部,让解码器按声明的值解析,而不是两边各拍一个数。

固定帧长让解析变简单,但也牺牲了灵活性。遇到采样率变化、声道变化,必须开新流或者重新协商头部,不能在同一个流里悄悄改。格式设计时要把「什么时候允许改头」写清楚。

时间戳为什么按毫秒,不按样本序号

样本序号看起来很自然:第 n 个样本对应 n 除以采样率秒。播放器只要知道采样率,就能从序号算出时间。很多简易格式就是这么做的,单机播放也没出过问题。但一旦涉及多设备、长时间、音画同步,它就不够用了。

第一个问题是时钟不一致。采集设备的晶振标称 48kHz,实际可能是 47996Hz 或 48004Hz。按样本序号算,一万个样本就是 208.33 毫秒;按真实时间算,可能是 208.35 毫秒。短时间看不出来,三小时后就差出几百毫秒,音频和视频对不上。

第二个问题是丢包和抖动。网络传输中,帧到达的时间不确定,甚至可能乱序。样本序号只能告诉你「这段音频在信号里的位置」,不能告诉你「它应该在什么时候播」。播放器需要的是后者,因为视频、字幕、其他音轨都按墙钟时间对齐。

第三个问题是拼接和剪辑。把两段录音拼在一起,如果时间戳按样本序号从零开始,拼接处会出现时间跳变;按毫秒时间戳,可以直接保留绝对时间,播放器知道第二段比第一段晚了多久。做多轨混流时,这一点尤其重要。

所以 SAUD 的帧头里同时保留 seq 和 timestamp_ms。seq 负责可靠传输层面的去重和丢包检测,timestamp 负责播放层面的同步。解码器可以用 seq 判断缺了哪几帧,用 timestamp 决定这些帧原本该在什么时间出现,两者配合才能做补偿。

时间戳从哪来?最理想的是采集时的墙钟时间,或者一个所有设备共享的时钟。如果只有设备本地时钟,就用采集回调的单调时钟,并在流开始时和墙钟对一次基准。不要用「上一帧时间戳加 10 毫秒」硬推,那样误差会一直累积,最后和真实时间越差越远。

逐字节看一个真实文件

把 2 秒的单声道 16 位正弦按上面的定义写出来,文件头 28 字节,200 帧,每帧 976 字节,总大小 195,228 字节。文件头十六进制如下:

53 41 55 44 01 01 10 00 80 BB 00 00 E0 01 C0 03
C8 00 00 00 00 D8 39 57 9A 01 00 00

逐段拆开:53 41 55 44 是 SAUD;01 是版本 1;01 是单声道;10 是十六进制 16,也就是 16 位;00 是保留字节;80 BB 00 00 小端读是 48000;E0 01 是 480;C0 03 是 960;C8 00 00 00 是 200 帧;最后八个字节 00 D8 39 57 9A 01 00 00 是 1,762,400,000,000 毫秒。

第一帧的帧头是 00 00 00 00 00 D8 39 57 9A 01 00 00 C0 03 00 00。前四字节 seq 为 0;接着八字节时间戳和文件头的基准相同;C0 03 是 960 字节;00 00 是标志位。帧头之后紧跟着 960 字节样本,第一个样本是 00 00,第二个是 65 05,小端读是 1381。

第二帧的帧头开头变成 01 00 00 00,seq 为 1;时间戳的低位从 00 变成 0A,也就是增加了 10 毫秒。因为帧长 480 样本、采样率 48kHz,正好 10 毫秒,所以时间戳每帧加 10。这个关系在示例里成立,在真实设备上不一定成立,所以解码器不能靠推算,必须读帧头里的实际值。

文件总大小可以这样验算:28 加 200 乘 976,等于 195,228。样本区总共 200 乘 960,等于 192,000 字节;帧头总共 200 乘 16,等于 3,200 字节;加上 28 字节文件头,刚好对上。这个账在写编码器之前就要算清楚,后面检查文件大小才有依据。

边界与代价:这套格式没做什么

SAUD 是一个教学用的最小格式,它故意没有做很多事。第一,没有校验和,传输中坏一个字节,解码器可能把样本数值读错,但不会发现。真实格式通常会在帧头加 CRC,或者在整个流上加一层校验。第二,没有压缩,文件大小和 PCM 一样,适合内网采集和调试,不适合公网分发。

第三,没有加密和鉴权。任何人拿到文件都能解析,任何客户端都能伪造帧。做公网传输时,要在外层套 TLS 或别的安全层,不要指望格式本身保护内容。第四,没有可变采样率和可变声道,换规格必须开新流。这是为了解析简单,代价是灵活性。

第五,帧头里的 payload_len 是 16 位,单帧样本区最大 65,535 字节。按 48kHz 单声道 16 位算,一帧最多约 682 毫秒;按立体声 24 位算,还要再短。这个上限对 10 毫秒的帧绰绰有余,但如果有人想用超长帧,就会撞墙。设计时要写清楚上限,别让调用方猜。

解析不可信文件时,先限制单帧长度、总帧数和文件大小,再开始读。不要因为头部写了 200 帧就一次性申请 200 帧的内存,也不要因为 payload_len 很大就直接读进缓冲区。长度字段是输入,不是承诺。

还有一个隐形成本:时间戳的精度。毫秒对音频播放够用,但对精确测量、多设备对齐、声学分析可能不够。需要更高精度时,可以把时间戳改成微秒,或者增加一个「样本偏移」字段,用毫秒加帧内样本数表示。改精度是版本级变更,不能悄悄改。

当天能自己验证的五个练习

  1. 按上面的字段表,用 struct.pack 生成一个 1 秒的 SAUD 文件,打印文件头前 28 字节,逐字段核对。
  2. 把帧长从 480 改成 240,重新算帧头开销和文件大小,验证表里的百分比。
  3. 故意把某帧的 seq 跳过一个数,写一个解析器,看它能不能发现缺帧并报告序号。
  4. 把 timestamp_base 改成一个 32 位溢出的值,观察时间戳回绕,再改成 64 位对比。
  5. 用十六进制查看器打开生成的文件,找到第二帧的起始偏移,手工算出它的帧头和样本区位置。

小结

三句话:流式音频格式必须让每一帧自带边界、长度和序号,不能依赖文件头里的总长度;文件头声明整条流的规格,帧头负责单帧的定位和同步;时间戳按毫秒而不是样本序号,才能在设备时钟不一致、丢包和拼接时保持音画对齐。

下一篇实现编解码器。编码器把样本切片、写头、写帧;解码器逐帧校验、还原样本,并在丢帧时用前帧重复加淡出做补偿。会打印真实的文件字节数、丢帧序号和补偿前后的误差,看看这套格式在故障面前到底能救回多少。