同事把一首五分钟的歌从 WAV 转成 MP3,128kbps,文件从五十点四七兆变成四点五八兆。他用耳机来回对比,前几遍还能听出一点差别,把两段音频随机打乱再听,就分不清哪个是原版了。他很疑惑:少了九成的数据,为什么耳朵没报警。

音频有损压缩的思路和图片不一样。图片压缩主要利用像素之间的空间相关性,音频则利用人耳的听觉特性:有些频率被更强的声音盖住,人根本听不见;有些细节在安静环境里才明显,在音乐里完全被淹没。MP3 把这些「反正听不见」的部分用很粗的方式表示,甚至直接丢掉,省下来的比特再分给真正重要的频段。

这篇按编码器的顺序走一遍:先把波形切成 26 毫秒左右的帧,再用 MDCT 换到频域,然后用心理声学模型算出哪些频率可以糊弄,最后量化、编码、装进比特池。每一节都会说清楚它丢了什么,以及为什么丢了还听不出来。下一篇再把这些原则用到自定义音频格式上。

现象真实原因第一步查什么
128kbps 下鼓点和高频听起来发闷低码率下高频被低通,量化步长变大,细节被削平看编码器的低通截止频率和实际码率,换 192kbps 对比
安静段落有「水声」或细碎的杂音量化噪声没有被强音掩蔽,暴露在安静区间用频谱看噪声分布,确认是不是量化噪声而不是底噪
鼓声前后出现一圈「预回声」长窗把瞬态的能量摊到前后,量化噪声提前出现看编码器有没有启用短块,或降低码率后是否更明显
人声齿音变成一团模糊的「嘶」高频临界带被合并量化,辅音细节丢失换更高码率或更新编码器,比较齿音段
同一首歌转码三次后明显变差每次都有损量化,误差在已经失真的数据上继续累积数一数转码次数,找回原始 WAV 或 FLAC 母版
两个编码器同样 128kbps,音质差很多心理声学模型、比特分配和低通策略不同做 ABX 盲测,不要只看码率数字
文件显示 128kbps,体积却比预期大ID3 标签、封面图片和章节信息占了额外空间只统计音频帧的字节,把元数据单独算
快节奏音乐比安静人声更难压瞬态多,掩蔽窗口短,需要更多比特维持细节改用 VBR,让编码器按内容分配码率

五十兆到四点五兆:先把账算明白

MP3 的码率是每秒多少比特。128kbps 意思是每秒 128,000 比特,也就是 16,000 字节。五分钟是 300 秒,乘起来是 4,800,000 字节,换算成二进制约 4.58MiB。WAV 那边是 44.1kHz、双声道、16 位,每秒 176,400 字节,五分钟 52,920,000 字节,约 50.47MiB。两者相差 11 倍左右。

这个比例不是随便定的。CD 音质的 PCM 码率是 1411kbps,MP3 128kbps 只有它的十一分之一。要把数据砍掉九成还保持可听,必须找到大量「人耳不敏感」的信息,而不是简单地提高压缩算法的聪明程度。

MP3 把音频切成固定长度的帧。每帧 1152 个样本,44.1kHz 下持续 26.1224 毫秒,一分钟大约 2296.9 帧。帧长决定了编码器能看多远,也决定了延迟:至少要攒够一帧才能开始编码,所以 MP3 天然有几十毫秒的算法延迟。

SR = 44100
SPF = 1152
print("frame_ms=%.4f" % (SPF / SR * 1000))
for kbps in (64, 128, 192, 320):
    frame_bytes = 144 * kbps * 1000 / SR
    print(f"{kbps}kbps frame={frame_bytes:.2f} padded={int(frame_bytes + 1)}B")

本机 Python 3.15 实际输出:

frame_ms=26.1224
64kbps frame=208.98 padded=209B
128kbps frame=417.96 padded=418B
192kbps frame=626.94 padded=627B
320kbps frame=1044.90 padded=1045B

每帧的字节数不是整数,所以 MP3 用「填充位」来调节:有的帧 417 字节,有的 418 字节,平均下来刚好是目标码率。这也是为什么按固定偏移切 MP3 文件会切错,帧边界必须靠帧头里的信息逐帧解析,不能拿平均帧长去乘。

第一步:从波形换到频域

人耳对频率的分辨方式,决定了音频编码更适合在频域里做。波形图上,一个鼓点是一个尖锐的峰;频谱图上,它是一大片频率能量。编码器想知道「哪些频率现在有声音、哪些没有」,就必须做时频变换。

直接把整段音频做傅里叶变换不行,因为傅里叶变换假设信号在整个时间段内稳定,鼓点会被摊到整段,时间信息全丢了。实际做法是分帧:每 26 毫秒取一小段,对每一段做变换,得到这一小段时间内的频率分布。帧越短,时间定位越准,频率分辨率越差;帧越长,频率看得越细,时间就越糊。

MP3 用的不是普通 DFT,而是 MDCT,改进的离散余弦变换。它有两个特点:输出只有输入的一半,因为实数信号的频谱是共轭对称的,一半就够了;相邻两块有 50% 的重叠,通过特定窗口让重叠部分相加后能完全还原。这个性质叫 TDAC,时域混叠抵消。

MP3 编码器的主要步骤
分帧与加窗
多相滤波分 32 子带
MDCT 换到频域
心理声学模型算掩蔽
量化与哈夫曼编码
写入比特池

为什么要有多相滤波这一步?它先把全频带分成 32 个子带,每个子带再做 MDCT。这样做能让编码器按子带分配比特,也方便处理不同频段的掩蔽特性。代价是滤波器组本身会引入一点失真,所以 MP3 并不是「完美」的变换编码,它在工程上做了折中。

MDCT 与重叠:为什么窗口要叠一半

MDCT 的输入是 2N 个样本,输出是 N 个系数。长块时 N 等于 576,输入 1152 个样本,正好是一帧。相邻两帧的输入有一半重叠,所以每个样本会被两个窗口各处理一次。单独看一个窗口,边界处会有时域混叠;但把相邻两个窗口的输出按特定方式相加,混叠会互相抵消,恢复出原信号。

这个「重叠一半」不是浪费。它让每个系数都同时携带一点时间信息和一点频率信息,而且边界处的突变不会像矩形窗那样产生大量高频泄漏。代价是编码器必须等下一帧到齐才能完整处理当前帧,延迟又多了一点。

长块的分辨率是 576 条频率线,覆盖 0 到约 22kHz,平均每条约 38Hz。低频看起来够细,但人耳在低频的分辨率比这还高;高频又不需要那么细。所以 MP3 并不是平均分配,而是把频率线分成若干个比例带,低频带窄、高频带宽,和耳朵的分辨方式对齐。

遇到瞬态,比如鼓声、掌声、爆破音,长块会把能量摊到整个 26 毫秒窗口,量化噪声可能在声音之前就出现,听起来像「预回声」。解决办法是切换到短块:N 等于 192,窗口更短,时间定位更准,代价是频率分辨率下降。编码器会根据瞬态检测在长块和短块之间切换,这个决定直接影响鼓点的干净程度。

MDCT 本身是可逆的,不丢信息。真正丢信息的是后面的量化和心理声学取舍。很多人把「用了 MDCT」当成有损的同义词,其实变换只是换了个坐标系,丢不丢取决于你怎么对待变换后的系数。

心理声学:哪些声音可以不管

人耳不是一个平坦的测量仪器。它对 2kHz 到 5kHz 最敏感,对极低频和极高频迟钝;一个强音会让附近频率的弱音听不见,这叫掩蔽效应。掩蔽分两种:同时发生的叫频域掩蔽,强音之后的短暂时间叫时域掩蔽。MP3 的心理声学模型就是在算这两类掩蔽。

频域掩蔽的规律是:强音附近一个临界带内的弱音会被盖住,距离越远,掩蔽越弱。临界带不是固定的赫兹宽度,而是随频率变宽。低频处一个临界带可能只有几十赫兹,高频处可以宽到几千赫兹。这个宽度用 Bark 尺度描述,整条听感范围大约分成 24 到 25 个 Bark 带。

临界带大致频率范围宽度编码上的含义
第 1 带0 到 100Hz约 100Hz低频分辨率高,但绝对听阈也高
第 2 到 5 带100 到 510Hz100 到 120Hz语音基频集中区,需要较细的量化
第 6 到 12 带510Hz 到 1.8kHz约 120 到 280Hz人耳较敏感,掩蔽范围开始变宽
第 13 到 18 带1.8 到 5kHz约 280 到 700Hz最敏感的区间,齿音和语音清晰度靠这里
第 19 到 22 带5 到 10kHz约 700Hz 到 1.2kHz高频细节,码率不足时最先被牺牲
第 23 到 25 带10 到 20kHz1.2kHz 以上很多人的听阈已经很高,常被整体低通

绝对听阈是另一条线:在安静环境里,人对不同频率的最低可听声压不同。0dB SPL 附近,2kHz 到 5kHz 最容易被听到;低频要很响才听得见,高频到 16kHz 以上多数人已经听不到。编码器会把低于绝对听阈的成分直接清零,因为再保留也没人听得见。

把这两条线合起来,编码器对每个临界带算出一个「允许噪声电平」:只要量化噪声低于这个电平,就认为听不见。码率不够时,它优先保住敏感频段和人声频段,把高频和掩蔽区里的细节用更粗的步长表示。

但这个模型是统计意义上的。它假设听者在正常环境、正常音量下听,而且耳朵没有特别训练过。安静房间里把音量调大,或者用监听耳机,原本被掩蔽的噪声就可能暴露出来。发烧友说「128kbps 不能听」,很多时候是在特定条件下听到了模型没算到的部分。

量化与比特池:省下来的比特去哪了

频域系数不是直接存,而是先量化。每个临界带有一个缩放因子,决定这个带里的系数除以多大的步长。步长越大,保留的系数越少,需要的比特越少,噪声也越大。编码器要在「噪声不超过允许电平」的前提下,尽量选大步长。

量化之后的系数还要经过哈夫曼编码。出现频率高的数值发短码,罕见的发长码,这一步是无损的,不再引入新的误差。MP3 没有用算术编码,它用的是预定义的哈夫曼码表,编码器和解码器都按同一套表查。码表有多个版本,编码器按内容选一张最省比特的。

关键在比特池。固定码率下,每帧分到的比特数差不多,但音乐的内容不是均匀的:安静的一帧可能用不完,鼓点密集的一帧可能不够用。MP3 允许把前面没用完的比特存进一个池子,最多 511 字节,后面的帧可以借来用。这样整体码率不变,难编的帧能多分一点,音质比死板地均分好。

比特池也解释了为什么 MP3 的帧不能随便截断。一帧的数据可能依赖前面最多 511 字节的「主数据」,解码器必须按顺序读,不能从中间任意一帧直接开始。做流式播放时,通常要预读一段才能保证不断流。

固定码率 CBR:每帧差不多大

实现简单,网络传输容易做带宽规划。缺点是复杂段落比特不够,简单段落又用不完,整体音质不如同码率的可变码率。

可变码率 VBR:按内容分配

安静段落少用比特,复杂段落多用,平均码率更低而音质更稳。缺点是文件大小不可预测,缓冲和带宽规划更难。

有损到底丢了什么

把整条链路走完,可以列出 MP3 真正丢掉的东西。第一是高频:码率低时,编码器会把某个截止频率以上的内容整体清零,128kbps 下不少编码器会把 16kHz 以上砍掉。第二是被掩蔽的弱音:强音附近的低电平成分被量化得很粗。第三是量化噪声:每个系数都被四舍五入,误差留在频谱里。

第四是立体声细节。MP3 支持联合立体声,利用左右声道的高度相关,把两个声道合成和中差信号编码。这样做能省不少比特,但也会损失一点空间感。码率越低,联合立体声用得越激进,听起来越像「单声道加一点宽度」。

第五是时间细节。长块的频率分辨率高,但瞬态会被摊平;短块时间准,但频率糊。编码器在两者之间切换,切换点附近可能留下痕迹。鼓声前后的「预回声」就是最典型的表现。

这些损失不是均匀分布的。安静、高频、瞬态密集的内容最容易暴露问题;人声、慢歌、低动态的内容则比较容易糊弄。所以同一码率下,播客听起来比现场录音干净,不是编码器偏心,而是内容本身对掩蔽模型更友好。

反复转码为什么越来越差

有损编码的误差是不可逆的。第一次编码丢掉的高频回不来,解码器只能补零或者补近似值。第二次编码拿这份已经残缺的数据当输入,又做一次心理声学分析,又量化一次。原本勉强保留的细节再被削一层,噪声继续累积。这个过程叫代际损失。

更麻烦的是,第二次的心理声学模型是在失真的信号上算的。第一次留下的量化噪声可能被模型误判成「真实内容」,分给它比特;真正需要保护的内容反而被忽略。转码次数越多,模型越难判断什么是信号、什么是噪声,最后听起来像隔着一层毛玻璃。

如果必须转码,正确的做法是从无损母版转,而不是从 MP3 转。工作流里保留一份 WAV 或 FLAC,所有衍生版本都从它出。已经只有 MP3 的素材,转成更高码率不会变好,只是把同样的损失用更多比特重新描述一遍。

不要用「转成 320kbps」来修复一个 128kbps 的文件。码率提高只影响新文件的大小,不会补回已经丢掉的信息。判断素材是否被有损编码过,可以看频谱的高频截止线,以及安静段有没有不自然的噪声。

边界与代价:码率不是唯一旋钮

MP3 的适用边界很清楚:它是为音乐分发设计的,不是为低延迟通话、精细编辑或无损归档设计的。拿它做直播会带来几十毫秒的算法延迟,拿它做母版会永久丢细节,拿它做语音识别输入则可能因为高频被砍而降低准确率。

码率典型用途要注意什么
64kbps低带宽语音、有声书高频明显受限,音乐细节损失大
128kbps普通音乐分发、播客安静段和瞬态容易暴露,建议 ABX 试听
192kbps较高要求的音乐体积和音质的折中点,多数人听不出明显差别
320kbps接近透明的分发体积大,和 AAC 相比不一定更优
VBR 质量档内容复杂度波动大的专辑文件大小不可预测,需要预留缓冲

还有两个现实代价。第一是专利和历史兼容性,MP3 曾经有专利问题,现在虽然大多过期,但很多新项目会选 AAC 或 Opus。第二是延迟,26 毫秒的帧加上前后处理,在实时通话里已经不可忽略,所以通话一般用 Opus 或 AMR 这类帧更短的编码。

最后是编码器实现。同样叫 MP3,LAME、Fraunhofer 和某些硬件编码器的结果可能差不少,心理声学模型、短块判断、低通策略都不一样。比较音质时,要固定编码器、固定码率、做盲听,而不是只看参数表。

当天能自己验证的五个练习

  1. 找一首无损歌曲,导出 128kbps 和 320kbps 两个 MP3,记录文件大小,用频谱查看高频截止线的差异。
  2. 把同一段音频连续转码三次 128kbps,每次都用上一次的输出,对比第一次和第三次的安静段噪声。
  3. 用上面的脚本算 64、128、192、320kbps 下每帧的字节数,验证填充位为什么让帧长不固定。
  4. 找一段有鼓点的音乐,分别在 128kbps 和 192kbps 下听鼓声前后的预回声,记录哪一档更明显。
  5. 用 ABX 工具盲测同一首歌的 128kbps 和原版,记录你能稳定分辨的次数,不要只看频谱下结论。

小结

三句话:MP3 先分帧、再用 MDCT 换到频域,然后用心理声学模型决定哪些频率可以粗量化;掩蔽效应、临界频带和绝对听阈共同决定了「丢了也听不见」的范围;有损编码的损失不可逆,反复转码只会累积误差,母版要保留无损版本。

下一篇进入自定义格式。前面讲的都是现成格式,接下来要自己定义一套音频流:帧头写什么、时间戳怎么给、丢包之后播放器怎么不卡死。先从一个直播事故讲起。