服务器的日志一天几十个 G,运维顺手 gzip 一下,体积只剩原来的百分之三,磁盘立刻不慌了。同一个脚本拿去压用户上传的照片,压缩包反而比原图还大了一点。有人觉得“压缩就是把文件变小”,于是把所有东西都塞进 zip,结果图片、视频、安装包压完几乎不变,白花了 CPU。压缩不是魔法,它只是把数据里的“可预测部分”换成更短的写法。可预测的部分有多少,决定了能压到什么程度。

这篇从重复和熵讲起,经过 RLE、LZ77 字典、霍夫曼编码,最后落到 gzip、zstd 这些真实工具的选择。重点不是背算法,而是弄明白压缩比从哪来、什么时候压不动、以及为了这点体积要付出什么代价。

现象:9900 字节变成 250 字节

取一段 3300 个汉字的中文说明,重复 50 次,UTF-8 编码后是 9900 字节。用 Python 的 gzip 最高压缩级别处理,输出只有 250 字节,压缩比约 2.5%。这不是因为算法“聪明”,而是因为这段数据里有大量重复:同一段话出现了 50 次,压缩器只要记住第一次出现的位置和长度,后面每次用“往前回退多少、复制多长”就能代替整段内容。

换一份随机字节,同样的压缩器、同样的级别,100000 字节压完是 100041 字节,反而多了 41 字节。这 41 字节是 gzip 的头部、尾部和块结构开销。随机数据每个字节的取值都不可预测,找不到重复,也没有哪种写法比原样更短。压缩器不是没干活,它是在“压不动”的情况下仍然要写格式头,所以必然变大。

这两个结果放在一起,就说明了压缩的本质:压缩比不是算法单方面决定的,而是数据本身的冗余度决定的。文本、日志、JSON、源代码有大量重复和规律,能压得很小;已经压缩过的图片、视频、加密数据、随机数,熵接近上限,几乎压不动。判断一个文件该不该压,先看它的数据类型,再看压缩工具。

同样是备份,不同类型的压缩比差得很远。纯文本日志能压到几个百分点,数据库备份通常在二三成到五成之间,虚拟机镜像可能只压掉一成。这不是备份软件偏心,而是数据内部的重复程度不同。做容量规划时,不能用“文本的压缩比”去估算所有数据,要按类型分别采样,不然预算会差出好几倍。

场景走查:冗余、熵和两类压缩

冗余(redundancy)是数据里“可以预测”的部分。比如“AAAAAAA”里,后面的 A 都能从前面的 A 推出来;“2026-11-06”这样的日期,格式固定,数字范围有限;JSON 里每个对象都有相同的键名。冗余越多,表示同样的信息需要的字节越少。压缩器的工作就是找出这些规律,用更紧凑的编码替代原样存储。

熵(entropy)是信息量的度量,可以粗略理解为“平均每个符号需要多少位才能表示”。一个字节有 256 种可能,如果每种出现概率相同,熵就是 8 位,没有任何压缩空间;如果大部分时候只出现少数几种值,熵就低,可以用更短的编码。前面那段中文的字节熵约 5.446 位每字节,随机数据的字节熵约 7.998 位每字节,差距就来自这里。

压缩分两类。无损压缩(lossless)要求解压后和原始数据逐字节一致,文本、程序、数据库、归档必须用它;有损压缩(lossy)允许丢掉人不太敏感的信息,换取更高的压缩比,JPEG、MP3、H.264 都是这一类。有损压缩不能用于文本和可执行文件,因为丢一个字节就可能改变语义或让程序崩溃。选择之前先问:解压后必须一模一样吗?

无损压缩里有几种基本手法。游程编码(RLE)把连续的相同字节记成“值加次数”,适合大片纯色、空白、重复字符;字典编码(LZ77、LZ78)把出现过的片段记进字典,后面用“距离加长度”引用;熵编码(霍夫曼、算术编码)根据符号出现频率分配长短码,频率高的用短码,频率低的用长码。现代压缩器通常把几种手法组合起来,gzip 就是 LZ77 加霍夫曼。

压缩比通常写成“压缩后大小除以原始大小”,也有人说“节省了百分之多少”,两种说法容易混。2.5% 的比率等于节省 97.5%,别把“压到三分之一”和“压掉三分之一”当成一回事。做容量规划时,用比率乘原始总量,别用节省比例去乘。压缩也不是加密,压缩后的数据可以被任何人解压,只是体积小了,没有任何保密作用。

找重复RLE 处理连续重复,LZ77 处理远处的重复片段。把重复内容换成“回退距离加长度”。
重新编码霍夫曼按频率分配变长码,高频符号用短码。算术编码把整段映射到一个区间,逼近熵极限。
打包格式gzip 加头部和校验,zip 支持多文件和目录,zstd 加帧和窗口参数。
有损变换JPEG、MP3 先丢掉感知上不重要的信息,再对剩余系数做熵编码。

LZ77 是怎么把 50 段话变成几页指令的

LZ77 的核心是一个滑动窗口。压缩器一边读,一边在“已经读过的最近一段数据”里找当前片段的最长匹配。找到之后,输出一个三元组:回退距离、匹配长度、下一个不匹配的字节。解压器按距离往回跳,复制指定长度,再补上那个字节,就能还原。窗口越大,能找到的重复越远,压缩比越高,但内存和搜索成本也越大。

拿重复 50 次的那段中文举例。第一次出现时,字典里没有匹配,压缩器只能原样输出,同时把它记进窗口。第二次出现时,当前位置往前回退大约 198 个字节,就能找到完全相同的一整段,于是输出“距离约 198、长度约 198”这样一对数字,再加一个收尾字节。后面的 48 次同理。原本 9900 字节的内容,被压成了“第一段原文加 49 条复制指令”,指令本身又经过霍夫曼编码,最终只剩 250 字节。

真实输出里,重复片段不会正好对齐,窗口里的匹配可能从半个字符开始,也可能跨过段落边界。压缩器要在“找更长的匹配”和“花更多时间搜索”之间权衡,所以有压缩级别。级别低,搜索范围小,速度快,压缩比一般;级别高,搜索更彻底,速度慢,压缩比好一些。再往上,收益递减,CPU 时间却线性增长。

霍夫曼编码负责第二层压缩。它统计每个符号的出现频率,建一棵二叉树,频率高的符号路径短,频率低的路径长。这样平均码长接近熵,比固定 8 位一字节更省。解码时按树走,遇到叶子就输出一个符号。它要求先传码表或在数据里带码表,码表本身也有开销,所以小文件压缩后可能更大,这不是算法失效,而是固定成本摊不下来。

实测:三种压缩器,三种结果

用同一段 9900 字节的中文,分别跑 zlib、gzip、bz2、lzma,结果都是本机 Python 3.15 实跑的:

import zlib, gzip, bz2, lzma

text = ('二进制与数据表示是计算机科学的基础。一个字节有八个位,'
        '每个位只能是零或一。文本、图片、音频最终都要变成字节流,'
        '才能被机器存储和传输。') * 50
raw = text.encode('utf-8')

print(len(text), len(raw))                 # 3300 9900
print(len(zlib.compress(raw, 9)))          # 238
print(len(gzip.compress(raw, 9)))          # 250
print(len(bz2.compress(raw, 9)))           # 385
print(len(lzma.compress(raw)))             # 284

实际输出:字符数 3300,字节数 9900;zlib 238 字节,gzip 250 字节,bz2 385 字节,lzma 284 字节。zlib 是裸的 deflate 流,gzip 多了头部和尾部,所以大 12 字节;bz2 用了块排序算法,块头开销更大,对这段不到 10KB 的数据反而不划算;lzma 的字典和范围编码更强,压到 284 字节。可见“哪个压缩器最好”没有统一答案,要看数据大小和类型。

再看压不动的情况。用固定种子生成 100000 个随机字节,zlib 最高级别压完是 100041 字节,比率约 1.0。多出来的 41 字节是格式开销。把随机数据换成结构化 JSON,100 条记录、4390 字节,gzip 压到 309 字节,lzma 压到 236 字节,比率分别是 7% 和 5.4%。结构化的重复键名和相似对象,给了压缩器大量可引用的片段。

这组数字能解释很多线上现象。日志压缩比高,因为每天的模式重复;数据库备份压缩比中等,因为页内有结构但页间差异大;图片和视频几乎压不动,因为它们已经被有损压缩过;加密数据完全压不动,因为密文的熵接近最大。看到“压缩后没变小”,先别怀疑工具,先看数据是不是已经压过或加密过。比较不同算法时,要在同一份数据、同一压缩级别下进行,否则结论没有意义,也容易得出“某个算法更好”的错误印象。

现象对照表

现象真实原因第一步查什么
文本日志压到原体积的 3%大量重复的行、字段名和时间格式确认数据类型,选通用无损压缩即可
图片或视频 zip 后反而变大数据已经是有损压缩后的高熵状态不要再压,直接原样存储或传输
同样算法,压缩率忽高忽低不同文件的冗余度不同,窗口大小也不同看数据类型、样本大小和压缩级别
压缩时 CPU 打满、延迟上升高压缩级别搜索范围大,CPU 换体积降级、异步压缩,或换更快的算法
小文件压完比原文件大头部、码表、块结构等固定开销摊不开小文件不单独压,合并成大块再压
gzip 比 brotli 大不少算法和内置字典不同,文本场景 brotli 更强看客户端支持哪种内容编码,再做协商
解压一个文件把内存吃光压缩炸弹,高比率嵌套或超大解压尺寸限制解压后大小、层数和总耗时
加密数据几乎压不动密文熵接近最大,没有可利用的冗余先压缩再加密,不要反过来

边界与代价

第一个代价是 CPU 和延迟。压缩比和速度是一对矛盾:级别越高,搜索越久,CPU 越忙,响应越慢。在线接口对每个响应做 gzip,压缩那几毫秒会直接加到延迟上;离线归档可以慢慢压,追求最小体积。很多系统用“快级别加缓存”而不是“最高级别”,因为重复请求的响应可以缓存,CPU 却一直要花。选级别要看链路是 CPU 瓶颈还是带宽瓶颈。

第二个代价是内存。LZ77 的窗口、霍夫曼的码表、块排序的缓冲区都要占内存。压缩大文件时,工具可能一次读入几十 MB 甚至更多;解压炸弹更是可以把一个小文件膨胀成几个 G。服务端处理用户上传的压缩包,必须限制解压后的总大小、嵌套层数和耗时,不能信任压缩包头里写的“原始大小”。

第三个代价是“压了不该压的东西”。JPEG、PNG、MP4、MP3、zip、PDF 里的很多流已经是压缩过的,再压一遍通常只增加开销。加密数据、随机数、已经用高压缩比算法处理过的归档,也一样。判断方法很简单:拿一小段样本试压,如果压缩后没有明显变小,就不要在正式流程里压。批量任务里无脑压缩,浪费的 CPU 可能比省下的磁盘更贵。

第四个代价是随机访问。gzip、bz2 这类格式是流式的,想读文件中间的一段,得从头解压;zip 虽然支持按文件独立压缩,但单个大文件内部仍然要顺序解。数据库、日志检索、列式存储因此更喜欢“块压缩”:每块独立压缩,带索引,读哪块解哪块。块越小,随机访问越快,但块头开销和压缩率会变差,需要按场景调块大小。

第五个代价是安全。压缩会放大解压后的体积,攻击者可以构造“压缩炸弹”,用很小的上传耗尽服务端内存或磁盘;HTTP 层还有 BREACH 这类攻击,利用压缩率和明文猜测的关系,从加密响应里一点点推断出敏感内容。对策包括:限制解压大小、不要把秘密和用户可控输入放在同一个压缩上下文里、对敏感响应关闭压缩或加随机填充。压缩不是纯性能优化,它改变了攻击面。

最后是兼容性和标准。gzip 几乎 everywhere,brotli 需要客户端支持,zstd 在服务端和新浏览器上越来越常见。HTTP 的 Content-Encoding 协商、文件的扩展名、库的默认参数,都会影响对方能不能解开。选格式不只看压缩比,还要看生态:对方能不能解、解压库是否成熟、出错时有没有校验。gzip 带 CRC32,zstd 带帧校验,这些细节在长链路传输里很有用。

算成本时要同时看带宽和 CPU。压缩省下的传输时间,可能被压缩消耗的 CPU 时间抵消;在带宽充足、CPU 紧张的机器上,压缩甚至是亏的。反过来,在跨地域、按流量计费的链路上,压缩省下的钱远大于 CPU 成本。CDN 通常两边都做:源站压缩一次,边缘缓存压缩后的版本,回源和分发都省。具体选哪种级别,最好用真实流量做 A/B 测试,而不是照搬别人的配置。

当天能自己验证的练习

  1. 找一段自己的日志或文章,记录原始字节数,用 gzip 默认级别和最高级别各压一次,比较体积和耗时。
  2. 用固定种子生成 1MB 随机字节,压缩后比较大小,确认它几乎不变大也不变小,理解“熵接近上限”是什么意思。
  3. 拿一张 JPEG 或 PNG 图片,先记原始大小,再放进 zip,观察压缩后的大小,验证“已压缩数据不要再压”。
  4. 写一个简单的 RLE 编码器和解码器,处理 AAAABBBCCD,再处理一段随机字符,比较两种输入的压缩效果。
  5. 构造一段重复 100 次的 JSON,分别用 gzip 和 lzma 压缩,记录比率;再把键名改成随机字符串,观察比率怎么变。本机只验证了 Python 标准库的 gzip、bz2、lzma,没有测试 zstd 和 brotli。

收尾:这组文章到此结束

压缩的本质是利用冗余。重复越多、越可预测,能压得越小;随机、加密、已压缩的数据,熵接近上限,压不动甚至变大。RLE 处理连续重复,LZ77 用字典引用远处片段,霍夫曼按频率分配长短码,现代格式把它们组合起来。代价是 CPU、内存、延迟和新的攻击面,压缩比不是唯一指标。

到这里,“二进制与数据表示”这组八篇就写完了:从位、字节、进制,到整数补码、浮点、字符编码,再到字节序、位运算、校验和压缩。这些知识不会直接教你写业务,但它们决定了你在看到乱码、负数、精度误差、校验失败时,能不能快速判断问题在哪一层。接下来可以顺着计算机科学方向继续看操作系统的内存管理,把“字节放在哪、怎么被寻址”接上进程和虚拟内存的真实场景。