同事把一首五分钟的歌从 WAV 转成 MP3,128kbps,文件从五十点四七兆变成四点五八兆。他用耳机来回对比,前几遍还能听出一点差别,把两段音频随机打乱再听,就分不清哪个是原版了。他很疑惑:少了九成的数据,为什么耳朵没报警。
音频有损压缩的思路和图片不一样。图片压缩主要利用像素之间的空间相关性,音频则利用人耳的听觉特性:有些频率被更强的声音盖住,人根本听不见;有些细节在安静环境里才明显,在音乐里完全被淹没。MP3 把这些「反正听不见」的部分用很粗的方式表示,甚至直接丢掉,省下来的比特再分给真正重要的频段。
这篇按编码器的顺序走一遍:先把波形切成 26 毫秒左右的帧,再用 MDCT 换到频域,然后用心理声学模型算出哪些频率可以糊弄,最后量化、编码、装进比特池。每一节都会说清楚它丢了什么,以及为什么丢了还听不出来。下一篇再把这些原则用到自定义音频格式上。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 128kbps 下鼓点和高频听起来发闷 | 低码率下高频被低通,量化步长变大,细节被削平 | 看编码器的低通截止频率和实际码率,换 192kbps 对比 |
| 安静段落有「水声」或细碎的杂音 | 量化噪声没有被强音掩蔽,暴露在安静区间 | 用频谱看噪声分布,确认是不是量化噪声而不是底噪 |
| 鼓声前后出现一圈「预回声」 | 长窗把瞬态的能量摊到前后,量化噪声提前出现 | 看编码器有没有启用短块,或降低码率后是否更明显 |
| 人声齿音变成一团模糊的「嘶」 | 高频临界带被合并量化,辅音细节丢失 | 换更高码率或更新编码器,比较齿音段 |
| 同一首歌转码三次后明显变差 | 每次都有损量化,误差在已经失真的数据上继续累积 | 数一数转码次数,找回原始 WAV 或 FLAC 母版 |
| 两个编码器同样 128kbps,音质差很多 | 心理声学模型、比特分配和低通策略不同 | 做 ABX 盲测,不要只看码率数字 |
| 文件显示 128kbps,体积却比预期大 | ID3 标签、封面图片和章节信息占了额外空间 | 只统计音频帧的字节,把元数据单独算 |
| 快节奏音乐比安静人声更难压 | 瞬态多,掩蔽窗口短,需要更多比特维持细节 | 改用 VBR,让编码器按内容分配码率 |
五十兆到四点五兆:先把账算明白
MP3 的码率是每秒多少比特。128kbps 意思是每秒 128,000 比特,也就是 16,000 字节。五分钟是 300 秒,乘起来是 4,800,000 字节,换算成二进制约 4.58MiB。WAV 那边是 44.1kHz、双声道、16 位,每秒 176,400 字节,五分钟 52,920,000 字节,约 50.47MiB。两者相差 11 倍左右。
这个比例不是随便定的。CD 音质的 PCM 码率是 1411kbps,MP3 128kbps 只有它的十一分之一。要把数据砍掉九成还保持可听,必须找到大量「人耳不敏感」的信息,而不是简单地提高压缩算法的聪明程度。
MP3 把音频切成固定长度的帧。每帧 1152 个样本,44.1kHz 下持续 26.1224 毫秒,一分钟大约 2296.9 帧。帧长决定了编码器能看多远,也决定了延迟:至少要攒够一帧才能开始编码,所以 MP3 天然有几十毫秒的算法延迟。
SR = 44100
SPF = 1152
print("frame_ms=%.4f" % (SPF / SR * 1000))
for kbps in (64, 128, 192, 320):
frame_bytes = 144 * kbps * 1000 / SR
print(f"{kbps}kbps frame={frame_bytes:.2f} padded={int(frame_bytes + 1)}B")
本机 Python 3.15 实际输出:
frame_ms=26.1224
64kbps frame=208.98 padded=209B
128kbps frame=417.96 padded=418B
192kbps frame=626.94 padded=627B
320kbps frame=1044.90 padded=1045B
每帧的字节数不是整数,所以 MP3 用「填充位」来调节:有的帧 417 字节,有的 418 字节,平均下来刚好是目标码率。这也是为什么按固定偏移切 MP3 文件会切错,帧边界必须靠帧头里的信息逐帧解析,不能拿平均帧长去乘。
第一步:从波形换到频域
人耳对频率的分辨方式,决定了音频编码更适合在频域里做。波形图上,一个鼓点是一个尖锐的峰;频谱图上,它是一大片频率能量。编码器想知道「哪些频率现在有声音、哪些没有」,就必须做时频变换。
直接把整段音频做傅里叶变换不行,因为傅里叶变换假设信号在整个时间段内稳定,鼓点会被摊到整段,时间信息全丢了。实际做法是分帧:每 26 毫秒取一小段,对每一段做变换,得到这一小段时间内的频率分布。帧越短,时间定位越准,频率分辨率越差;帧越长,频率看得越细,时间就越糊。
MP3 用的不是普通 DFT,而是 MDCT,改进的离散余弦变换。它有两个特点:输出只有输入的一半,因为实数信号的频谱是共轭对称的,一半就够了;相邻两块有 50% 的重叠,通过特定窗口让重叠部分相加后能完全还原。这个性质叫 TDAC,时域混叠抵消。
为什么要有多相滤波这一步?它先把全频带分成 32 个子带,每个子带再做 MDCT。这样做能让编码器按子带分配比特,也方便处理不同频段的掩蔽特性。代价是滤波器组本身会引入一点失真,所以 MP3 并不是「完美」的变换编码,它在工程上做了折中。
MDCT 与重叠:为什么窗口要叠一半
MDCT 的输入是 2N 个样本,输出是 N 个系数。长块时 N 等于 576,输入 1152 个样本,正好是一帧。相邻两帧的输入有一半重叠,所以每个样本会被两个窗口各处理一次。单独看一个窗口,边界处会有时域混叠;但把相邻两个窗口的输出按特定方式相加,混叠会互相抵消,恢复出原信号。
这个「重叠一半」不是浪费。它让每个系数都同时携带一点时间信息和一点频率信息,而且边界处的突变不会像矩形窗那样产生大量高频泄漏。代价是编码器必须等下一帧到齐才能完整处理当前帧,延迟又多了一点。
长块的分辨率是 576 条频率线,覆盖 0 到约 22kHz,平均每条约 38Hz。低频看起来够细,但人耳在低频的分辨率比这还高;高频又不需要那么细。所以 MP3 并不是平均分配,而是把频率线分成若干个比例带,低频带窄、高频带宽,和耳朵的分辨方式对齐。
遇到瞬态,比如鼓声、掌声、爆破音,长块会把能量摊到整个 26 毫秒窗口,量化噪声可能在声音之前就出现,听起来像「预回声」。解决办法是切换到短块:N 等于 192,窗口更短,时间定位更准,代价是频率分辨率下降。编码器会根据瞬态检测在长块和短块之间切换,这个决定直接影响鼓点的干净程度。
心理声学:哪些声音可以不管
人耳不是一个平坦的测量仪器。它对 2kHz 到 5kHz 最敏感,对极低频和极高频迟钝;一个强音会让附近频率的弱音听不见,这叫掩蔽效应。掩蔽分两种:同时发生的叫频域掩蔽,强音之后的短暂时间叫时域掩蔽。MP3 的心理声学模型就是在算这两类掩蔽。
频域掩蔽的规律是:强音附近一个临界带内的弱音会被盖住,距离越远,掩蔽越弱。临界带不是固定的赫兹宽度,而是随频率变宽。低频处一个临界带可能只有几十赫兹,高频处可以宽到几千赫兹。这个宽度用 Bark 尺度描述,整条听感范围大约分成 24 到 25 个 Bark 带。
| 临界带 | 大致频率范围 | 宽度 | 编码上的含义 |
|---|---|---|---|
| 第 1 带 | 0 到 100Hz | 约 100Hz | 低频分辨率高,但绝对听阈也高 |
| 第 2 到 5 带 | 100 到 510Hz | 100 到 120Hz | 语音基频集中区,需要较细的量化 |
| 第 6 到 12 带 | 510Hz 到 1.8kHz | 约 120 到 280Hz | 人耳较敏感,掩蔽范围开始变宽 |
| 第 13 到 18 带 | 1.8 到 5kHz | 约 280 到 700Hz | 最敏感的区间,齿音和语音清晰度靠这里 |
| 第 19 到 22 带 | 5 到 10kHz | 约 700Hz 到 1.2kHz | 高频细节,码率不足时最先被牺牲 |
| 第 23 到 25 带 | 10 到 20kHz | 1.2kHz 以上 | 很多人的听阈已经很高,常被整体低通 |
绝对听阈是另一条线:在安静环境里,人对不同频率的最低可听声压不同。0dB SPL 附近,2kHz 到 5kHz 最容易被听到;低频要很响才听得见,高频到 16kHz 以上多数人已经听不到。编码器会把低于绝对听阈的成分直接清零,因为再保留也没人听得见。
把这两条线合起来,编码器对每个临界带算出一个「允许噪声电平」:只要量化噪声低于这个电平,就认为听不见。码率不够时,它优先保住敏感频段和人声频段,把高频和掩蔽区里的细节用更粗的步长表示。
但这个模型是统计意义上的。它假设听者在正常环境、正常音量下听,而且耳朵没有特别训练过。安静房间里把音量调大,或者用监听耳机,原本被掩蔽的噪声就可能暴露出来。发烧友说「128kbps 不能听」,很多时候是在特定条件下听到了模型没算到的部分。
量化与比特池:省下来的比特去哪了
频域系数不是直接存,而是先量化。每个临界带有一个缩放因子,决定这个带里的系数除以多大的步长。步长越大,保留的系数越少,需要的比特越少,噪声也越大。编码器要在「噪声不超过允许电平」的前提下,尽量选大步长。
量化之后的系数还要经过哈夫曼编码。出现频率高的数值发短码,罕见的发长码,这一步是无损的,不再引入新的误差。MP3 没有用算术编码,它用的是预定义的哈夫曼码表,编码器和解码器都按同一套表查。码表有多个版本,编码器按内容选一张最省比特的。
关键在比特池。固定码率下,每帧分到的比特数差不多,但音乐的内容不是均匀的:安静的一帧可能用不完,鼓点密集的一帧可能不够用。MP3 允许把前面没用完的比特存进一个池子,最多 511 字节,后面的帧可以借来用。这样整体码率不变,难编的帧能多分一点,音质比死板地均分好。
比特池也解释了为什么 MP3 的帧不能随便截断。一帧的数据可能依赖前面最多 511 字节的「主数据」,解码器必须按顺序读,不能从中间任意一帧直接开始。做流式播放时,通常要预读一段才能保证不断流。
固定码率 CBR:每帧差不多大
实现简单,网络传输容易做带宽规划。缺点是复杂段落比特不够,简单段落又用不完,整体音质不如同码率的可变码率。
可变码率 VBR:按内容分配
安静段落少用比特,复杂段落多用,平均码率更低而音质更稳。缺点是文件大小不可预测,缓冲和带宽规划更难。
有损到底丢了什么
把整条链路走完,可以列出 MP3 真正丢掉的东西。第一是高频:码率低时,编码器会把某个截止频率以上的内容整体清零,128kbps 下不少编码器会把 16kHz 以上砍掉。第二是被掩蔽的弱音:强音附近的低电平成分被量化得很粗。第三是量化噪声:每个系数都被四舍五入,误差留在频谱里。
第四是立体声细节。MP3 支持联合立体声,利用左右声道的高度相关,把两个声道合成和中差信号编码。这样做能省不少比特,但也会损失一点空间感。码率越低,联合立体声用得越激进,听起来越像「单声道加一点宽度」。
第五是时间细节。长块的频率分辨率高,但瞬态会被摊平;短块时间准,但频率糊。编码器在两者之间切换,切换点附近可能留下痕迹。鼓声前后的「预回声」就是最典型的表现。
这些损失不是均匀分布的。安静、高频、瞬态密集的内容最容易暴露问题;人声、慢歌、低动态的内容则比较容易糊弄。所以同一码率下,播客听起来比现场录音干净,不是编码器偏心,而是内容本身对掩蔽模型更友好。
反复转码为什么越来越差
有损编码的误差是不可逆的。第一次编码丢掉的高频回不来,解码器只能补零或者补近似值。第二次编码拿这份已经残缺的数据当输入,又做一次心理声学分析,又量化一次。原本勉强保留的细节再被削一层,噪声继续累积。这个过程叫代际损失。
更麻烦的是,第二次的心理声学模型是在失真的信号上算的。第一次留下的量化噪声可能被模型误判成「真实内容」,分给它比特;真正需要保护的内容反而被忽略。转码次数越多,模型越难判断什么是信号、什么是噪声,最后听起来像隔着一层毛玻璃。
如果必须转码,正确的做法是从无损母版转,而不是从 MP3 转。工作流里保留一份 WAV 或 FLAC,所有衍生版本都从它出。已经只有 MP3 的素材,转成更高码率不会变好,只是把同样的损失用更多比特重新描述一遍。
边界与代价:码率不是唯一旋钮
MP3 的适用边界很清楚:它是为音乐分发设计的,不是为低延迟通话、精细编辑或无损归档设计的。拿它做直播会带来几十毫秒的算法延迟,拿它做母版会永久丢细节,拿它做语音识别输入则可能因为高频被砍而降低准确率。
| 码率 | 典型用途 | 要注意什么 |
|---|---|---|
| 64kbps | 低带宽语音、有声书 | 高频明显受限,音乐细节损失大 |
| 128kbps | 普通音乐分发、播客 | 安静段和瞬态容易暴露,建议 ABX 试听 |
| 192kbps | 较高要求的音乐 | 体积和音质的折中点,多数人听不出明显差别 |
| 320kbps | 接近透明的分发 | 体积大,和 AAC 相比不一定更优 |
| VBR 质量档 | 内容复杂度波动大的专辑 | 文件大小不可预测,需要预留缓冲 |
还有两个现实代价。第一是专利和历史兼容性,MP3 曾经有专利问题,现在虽然大多过期,但很多新项目会选 AAC 或 Opus。第二是延迟,26 毫秒的帧加上前后处理,在实时通话里已经不可忽略,所以通话一般用 Opus 或 AMR 这类帧更短的编码。
最后是编码器实现。同样叫 MP3,LAME、Fraunhofer 和某些硬件编码器的结果可能差不少,心理声学模型、短块判断、低通策略都不一样。比较音质时,要固定编码器、固定码率、做盲听,而不是只看参数表。
当天能自己验证的五个练习
- 找一首无损歌曲,导出 128kbps 和 320kbps 两个 MP3,记录文件大小,用频谱查看高频截止线的差异。
- 把同一段音频连续转码三次 128kbps,每次都用上一次的输出,对比第一次和第三次的安静段噪声。
- 用上面的脚本算 64、128、192、320kbps 下每帧的字节数,验证填充位为什么让帧长不固定。
- 找一段有鼓点的音乐,分别在 128kbps 和 192kbps 下听鼓声前后的预回声,记录哪一档更明显。
- 用 ABX 工具盲测同一首歌的 128kbps 和原版,记录你能稳定分辨的次数,不要只看频谱下结论。
小结
三句话:MP3 先分帧、再用 MDCT 换到频域,然后用心理声学模型决定哪些频率可以粗量化;掩蔽效应、临界频带和绝对听阈共同决定了「丢了也听不见」的范围;有损编码的损失不可逆,反复转码只会累积误差,母版要保留无损版本。
下一篇进入自定义格式。前面讲的都是现成格式,接下来要自己定义一套音频流:帧头写什么、时间戳怎么给、丢包之后播放器怎么不卡死。先从一个直播事故讲起。