一张傍晚的天空照片,存成 JPEG 质量 70,其它部分都正常,唯独天空从深蓝到浅蓝的渐变里出现了一圈圈横向色带,像旧电视的信号不良。换了个编码器,色带位置变了,但还在。另一边,一段现场录音转成 MP3,鼓点前面多出一小段「沙」的尾巴,安静的地方尤其明显,像是有人提前敲了一下。
这两个现象看起来毫不相干,背后却是同一套思路:先把数据从「按位置排列」变成「按频率排列」,再把人的感知不敏感的频率成分用更粗的精度表示。图像用离散余弦变换,音频用改进离散余弦变换加心理声学模型。它们都接受了同一个前提:只要人察觉不到,丢掉的信息就不算损失。
这篇把这条共用路径拆开:DCT 怎么把能量集中到少数系数、量化表怎么决定丢多少、心理声学的掩蔽效应怎么给「可以丢」划范围,最后解释色带、块效应和预回声分别是怎么来的。下一篇讲压缩比与质量的权衡,把这些现象换算成码率、尺寸和时间的账。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 天空渐变出现一圈圈色带 | 低频系数被量化得太粗,平滑过渡被切成台阶 | 看质量参数、量化表和是否做了抖动 |
| 文字边缘出现「蚊虫」一样的噪点 | 高频系数被大量置零,边缘产生振铃 | 换无损格式,或提高质量参数再对比 |
| 放大后能看到 8×8 方块边界 | 分块独立变换,块与块之间不连续 | 确认编码器块大小,降低压缩强度 |
| MP3 鼓声前出现预回声 | 量化噪声在时域扩散,短块切换不及时 | 提高码率,换 AAC 或 Opus 对比 |
| 安静段落出现莫名的细碎噪声 | 心理声学模型低估了掩蔽,量化噪声暴露 | 检查码率、编码器和是否多次转码 |
| 同一张图转码两次后明显变糊 | 每次量化都在已有误差上再切一刀 | 回到无损母版,只做一次最终编码 |
| 码率调高,画面反而更糊 | 源本身分辨率或码率不足,重采样又引入模糊 | 先看源文件参数,再看转码链路的每一步 |
先把「按位置」换成「按频率」
一张图在计算机里是一堆按行列排列的像素。相邻像素通常很像,但这种「像」是局部的、零散的,压缩器很难直接利用。DCT 做的事情是换一种描述方式:把一个 8×8 的小块,表示成六十四种不同频率的余弦波的叠加。左上角是变化最慢的低频,右下角是变化最快的细节。
换完之后,大部分能量会集中到左上角少数几个系数。因为自然图像里,大块的明暗和颜色占主导,细碎的纹理只占一小部分。平滑的天空可能只有几个低频系数不为零,剩下的高频系数接近零;草地、毛发这种纹理密集的区域,高频系数才会多起来。
这种「能量集中」是压缩的前提。如果一块数据变换后还是均匀分布,那变换就没有意义。DCT 之所以被选中,是因为它不需要处理整张图,8×8 的块算起来快,而且它把能量压缩到左上角的效果接近理论最优的 KL 变换,工程上又比后者简单得多。
8×8 DCT:能量到底集中到什么程度
下面这段代码实现二维 DCT 和逆变换,对一块 8×8 的像素做变换、用标准 JPEG 亮度量化表取整、再反变换回来,统计还剩多少个非零系数、低频占了多大能量、误差有多大。为了对比,跑两块:一块平滑渐变,一块加了纹理噪声。
import math, random
random.seed(5)
Q = [
[16, 11, 10, 16, 24, 40, 51, 61],
[12, 12, 14, 19, 26, 58, 60, 55],
[14, 13, 16, 24, 40, 57, 69, 56],
[14, 17, 22, 29, 51, 87, 80, 62],
[18, 22, 37, 56, 68, 109, 103, 77],
[24, 35, 55, 64, 81, 104, 113, 92],
[49, 64, 78, 87, 103, 121, 120, 101],
[72, 92, 95, 98, 112, 100, 103, 99],
]
def C(u):
return 1 / math.sqrt(2) if u == 0 else 1.0
def dct2(block):
out = [[0.0] * 8 for _ in range(8)]
for u in range(8):
for v in range(8):
s = sum(block[x][y]
* math.cos((2 * x + 1) * u * math.pi / 16)
* math.cos((2 * y + 1) * v * math.pi / 16)
for x in range(8) for y in range(8))
out[u][v] = 0.25 * C(u) * C(v) * s
return out
def idct2(coef):
out = [[0.0] * 8 for _ in range(8)]
for x in range(8):
for y in range(8):
s = sum(C(u) * C(v) * coef[u][v]
* math.cos((2 * x + 1) * u * math.pi / 16)
* math.cos((2 * y + 1) * v * math.pi / 16)
for u in range(8) for v in range(8))
out[x][y] = 0.25 * s
return out
for name, noise in [("smooth", 0), ("textured", 12)]:
block = [[max(0, min(255, 200 - x * 12 - y * 3 + (x * y) % 7
+ random.randint(-noise, noise))) for y in range(8)]
for x in range(8)]
coef = dct2(block)
quant = [[round(coef[u][v] / Q[u][v]) for v in range(8)] for u in range(8)]
deq = [[quant[u][v] * Q[u][v] for v in range(8)] for u in range(8)]
rec = idct2(deq)
mse = sum((block[x][y] - rec[x][y]) ** 2
for x in range(8) for y in range(8)) / 64
psnr = 20 * math.log10(255 / math.sqrt(mse))
nonzero = sum(1 for u in range(8) for v in range(8) if quant[u][v] != 0)
total = sum(v * v for row in coef for v in row)
low = sum(coef[u][v] ** 2 for u in range(4) for v in range(4))
print(f"{name}: nonzero={nonzero}/64 low_share={low/total*100:.2f}% "
f"mse={mse:.3f} psnr={psnr:.2f}dB")
本机实际输出:
smooth: nonzero=5/64 low_share=99.98% mse=6.213 psnr=40.20dB
textured: nonzero=9/64 low_share=99.79% mse=50.677 psnr=31.08dB
平滑块的六十四个系数里只剩五个非零,低频占了 99.98% 的能量;加了纹理噪声后,非零系数增加到九个,误差从 6.2 升到 50.7,PSNR 从 40.2 分贝掉到 31.1 分贝。这块小实验说明了两件事:DCT 确实把能量压到了左上角,量化确实把大量系数变成了零;内容越复杂,同样量化表下丢失的细节越多。
注意这里的「误差」是整块像素的平均平方误差,不是视觉评价。PSNR 31 分贝在自然图像里通常还能看,但换成文字截图就会明显发虚。同一个数字,落在不同内容上,感知完全不同。
为什么是 8×8,而不是一整张图
块的大小是一个取舍。块越大,频率分辨率越高,平坦区域能压得更狠;但块内的内容变化也越多,量化误差会在更大的范围里扩散,块效应更明显,而且编码器没法针对局部内容调整量化强度。块越小,适应性强、边界影响小,但变换的边界开销变多,压缩比上不去。
JPEG 选了 8×8,是因为它在当时的算力和图像内容之间取得了平衡:六十四点的变换可以做成快速的蝶形运算,块内统计也比较稳定。后来的视频编码器用 4×4、8×8、16×16 甚至 32×32 的可变块,让编码器按内容选大小,平坦区域用大块,细节区域用小块,代价是搜索和决策更复杂。
还有一个工程原因:二维 DCT 可以拆成两次一维变换,先对每行做,再对每列做,计算量从「六十四乘六十四」降到「八乘八再乘八」。这个可分离性让它在通用 CPU 上足够快,也让硬件实现更容易。
量化表:真正决定丢多少的东西
DCT 本身是可逆的,不丢信息。丢信息的是量化:把每个系数除以量化表里的步长,再四舍五入。步长越大,取整后的值越粗糙,越容易变成零。上面那张标准亮度表里,左上角的步长是 16,右下角最大到 121,意思就是「低频保留细一点,高频粗略一点」。
为什么高频可以粗?因为人眼对细碎的明暗变化不敏感,尤其在大面积同一颜色上。把高频抹掉,画面会变平滑,但不容易被注意到;把低频抹得太狠,就会看到色带和台阶,因为大块的明暗过渡被切成了几段。天空色带正是低频量化过粗的典型表现。
JPEG 的「质量参数」本质上是把标准表按比例缩放。质量高,所有步长乘一个小系数,保留更多细节;质量低,步长整体变大,压缩比上升。色度通道通常还有一张单独的量化表,步长更大,因为人眼对颜色细节更不敏感。这也是为什么低质量 JPEG 里,红色边缘比灰色边缘更容易出问题。
心理声学:为什么 MP3 敢丢掉那么多
音频的有损压缩借鉴了同样的思路,但「不敏感」的判断来自听觉而不是视觉。心理声学研究人耳怎么感知声音,其中两个概念最常用于压缩:绝对听阈和掩蔽效应。
绝对听阈是说,人耳对不同频率的敏感度不一样。低频的轻微振动和高频的极弱声音,人根本听不见;中频附近最敏感。低于听阈的声音可以直接不编码,因为编了也没人听得到。掩蔽效应是说,一个强的声音会让附近频率的弱声音变得听不见,就像在嘈杂的街上听不清旁边人说话。
MP3 编码器会先做时频分析,估计每一帧里哪些频率被强音掩蔽、哪些低于听阈,然后给这些区域分配更少的比特,甚至直接归零。它还会根据信号的瞬态特性切换长短窗:稳态信号用长窗,频率分辨率高;鼓点这类突变用短窗,时间分辨率高,避免噪声扩散得太远。
这就是为什么 MP3 能把一首歌压到原来的十分之一:它丢的不是「随机的高频」,而是「在这个时刻、这个频率附近,人耳本来就被盖住的部分」。代价是这种判断依赖模型,模型估错了,噪声就会露出来;码率太低时,可分配的比特不够,掩蔽区域也会被粗暴对待。
色带、块效应、预回声:同一类代价
三种典型瑕疵可以放在一张表里看。它们都来自「在频域做取舍,再变回时域或空域」这个动作,只是取舍的位置和窗口形状不同。
色带与台阶
低频量化过粗,平滑的明暗过渡被切成几段。常见于天空、渐变背景、暗部。提高质量或改用更高位深能缓解。
块效应与振铃
8×8 分块独立变换,块边界不连续;高频被抹掉后,硬边缘附近出现波纹。降低压缩强度或换整帧变换能缓解。
预回声与噪声扩散
音频的量化噪声在时域上扩散到强音之前,听起来像提前出现的沙沙声。短窗切换、提高码率或换 AAC 能缓解。
块效应之所以是「块」而不是均匀模糊,是因为 JPEG 把图切成独立的 8×8 块,每块单独量化,块与块之间没有共享约束。相邻两块即使内容连续,量化误差也可能不同,边界就显出来了。后来的格式用重叠变换、去块滤波或整帧变换来缓解这个问题,代价是计算更复杂。
预回声同理。音频的变换窗有重叠,量化噪声不会老老实实待在被掩蔽的时间段里,而是会扩散到整个窗。鼓点前的安静段最容易被污染,因为那里没有强信号可以掩蔽噪声。编码器用短窗和噪声整形来压制,但不能完全消除。
编码器还要做哪些收尾
量化之后,JPEG 还有几步不丢信息但很关键的整理。第一步是按之字形顺序扫描六十四个系数,从左上角开始,沿着对角线往右下走。这样低频系数排在前面,高频系数排在后面,后面大量连续的零可以压成「跳过多少个零」的游程编码,不必逐个写。
第二步是直流系数的差分。每个块左上角那个系数代表整块的平均亮度,相邻块的平均亮度通常很接近,所以不直接存它的值,而是存「和上一个块差多少」。这个差值通常很小,占用位数少。交流系数则做游程加哈夫曼,把「先跳过几个零、再来一个什么值」编成一对符号。
MP3 的收尾更复杂一些。每帧有帧头,记录码率、采样率、声道模式;帧头后面有边信息,告诉解码器这一帧的频谱数据从哪开始、比例因子是多少;再后面才是哈夫曼编码的频谱。它还允许「比特池」:这一帧用不完的比特可以借给后面的帧,避免瞬态帧因为比特不够而爆噪。
这些步骤本身不引入新的损失,但会显著影响体积和抗错能力。比如 JPEG 的重启标记每隔一段插入一个同步点,某个块坏了,可以从下一个标记重新开始,不至于整张图报废;MP3 的帧边界让解码器能定位到具体哪一帧出错,做静音或插值处理。设计自己的格式时,这些「不压缩但有用」的字段不能省。
边界与代价
这套方法的边界很清楚:它只在「人的感知不敏感」这个前提下成立。换成机器判读,前提就不成立了。医学影像、工业检测、文字识别、监控取证,这些场景要的是像素或采样值的准确,不是「看起来差不多」。一张给人看的 JPEG 和一张给算法读的 JPEG,要求完全不同。所以同一份素材,给客户看的版本和给算法用的版本,应该分别导出,参数也分别定。
第二个边界是内容类型。平滑渐变怕低频量化,文字和线稿怕高频抹除,密集纹理怕整体糊化,音频里的瞬态怕预回声。没有一张量化表能同时讨好所有内容,所以实际编码器要么按内容自适应,要么提供多个预设。用户看到的「质量 80」,只是某套预设下的一个档位。
第三个代价是计算和延迟。DCT、心理声学模型、比特分配、熵编码,每一步都要算力。实时通话、直播、游戏串流对延迟敏感,编码器必须用更快的算法和更短的帧,压缩比就得让位。离线转码可以慢慢算,才能用上更复杂的模型。
判断质量也不能只看数字。PSNR 和 SSIM 是数学指标,和人的观感不是一回事:一张细节被抹平的图可能有不错的 PSNR,但看起来就是「塑料感」。音频更主观,同一段文件在不同耳机、不同音量下表现不同。靠谱的做法是做盲测,把原版和压缩版随机打乱,让听的人或看的人选,记录正确率。正确率接近瞎猜,才说明这个码率真的够用。
当天能自己验证的五个练习
- 把示例里的量化表整体乘 0.5 和乘 2,分别跑平滑块和纹理块,记录非零系数、PSNR 的变化。
- 用同一张渐变图,分别导出质量 95 和 60 的 JPEG,放大看色带出现在哪一段。
- 找一段有鼓点的音乐,转成 128kbps MP3,戴耳机听鼓点前的安静段,再换 320kbps 对比。
- 把一张文字截图存成 JPEG,观察笔画边缘的振铃,再存 PNG 对比。
- 查一个 JPEG 文件的量化表(很多工具能显示),确认低频和高频的步长差多少倍。
小结
三句话:DCT 把 8×8 块从「按位置」换成「按频率」,让能量集中到少数低频系数;量化表决定丢多少,低频粗了出色带,高频粗了出振铃和块效应;心理声学用听阈和掩蔽给音频划出「可以丢」的范围,代价是模型估错时噪声会露出来。这三条记住了,再看任何有损编码器的参数,都能对上它到底在动哪一层。
下一篇把这些参数换算成实际决策:同样一段视频,码率、分辨率、编码器、preset 分别怎么影响体积和观感,什么样的压缩比是合理的,什么情况下「压得更多」其实是「坏得更快」。