模型压到 4bit 之后,文件小了一大截,原来要两张卡才勉强塞下的权重,现在一张卡够用了。上线头两天一切正常,第三天开始有人截图:问报销标准,模型给出的数字和制度文件对不上;同一个问题换个问法,数字又变了;让它复述一段合同条款,前半段还在,后半段开始自己编。
很多人第一反应是「模型变笨了」。更准确的说法是:量化是一次有损压缩,压掉的是数值精度,而精度下降会以什么方式表现出来,取决于模型、层、数据分布和你的任务。有的模型 4bit 以后只是措辞偶尔变化,有的模型连输出格式都守不住。先把一组权重摊开,看清楚误差是怎么产生的,再去谈能力掉没掉。
一组权重压下去,误差长什么样
下面这段程序只用标准库。它把 13 个权重按对称量化压成 INT8 和 INT4,再反量化回浮点,逐个打印原始值、量化值、反量化值、绝对误差和相对误差。qmax 是量化格点的最大整数,INT8 是 127,INT4 是 7。
def quantize(weights, bits):
qmax = 2 ** (bits - 1) - 1
scale = max(abs(x) for x in weights) / qmax
rows = []
for x in weights:
q = max(-qmax, min(qmax, round(x / scale)))
rows.append((x, q, q * scale))
return scale, rows
w = [0.012, -0.031, 0.058, -0.094, 0.127, -0.183,
0.245, -0.312, 0.487, -0.653, 0.821, 1.204, -2.350]
for bits in (8, 4):
scale, rows = quantize(w, bits)
qmax = 2 ** (bits - 1) - 1
print("== INT%d 对称量化 scale=%.6f qmax=%d ==" % (bits, scale, qmax))
print("%10s %6s %10s %10s %9s" % ("原始值", "量化值", "反量化", "绝对误差", "相对误差"))
max_abs = 0.0
max_rel = 0.0
max_rel_at = 0.0
for x, q, dq in rows:
err = abs(x - dq)
rel = err / abs(x) * 100
max_abs = max(max_abs, err)
if rel > max_rel:
max_rel, max_rel_at = rel, x
print("%10.4f %6d %10.4f %10.4f %8.2f%%" % (x, q, dq, err, rel))
print("最大绝对误差=%.4f 最大相对误差=%.2f%% (出现在 w=%.4f) 压成0的个数=%d/%d"
% (max_abs, max_rel, max_rel_at, sum(1 for _, q, _ in rows if q == 0), len(rows)))
print()
print("== 加入一个异常值 5.870 后,只看 INT4 ==")
w2 = w + [5.870]
scale2, rows2 = quantize(w2, 4)
print("scale=%.6f(原 scale=%.6f,放大 %.1f 倍)" % (scale2, quantize(w, 4)[0], scale2 / quantize(w, 4)[0]))
errs = [abs(x - dq) for x, q, dq in rows2]
print("平均绝对误差=%.4f 最大绝对误差=%.4f 压成0的个数=%d/%d"
% (sum(errs) / len(errs), max(errs), sum(1 for _, q, _ in rows2 if q == 0), len(rows2)))
print("前 13 个权重中,INT4 全为 0 的有 %d 个" % sum(1 for _, q, _ in rows2[:13] if q == 0))
下面是本机实际跑出来的完整输出,两段表格都是逐行打印,没有省略。
== INT8 对称量化 scale=0.018504 qmax=127 ==
原始值 量化值 反量化 绝对误差 相对误差
0.0120 1 0.0185 0.0065 54.20%
-0.0310 -2 -0.0370 0.0060 19.38%
0.0580 3 0.0555 0.0025 4.29%
-0.0940 -5 -0.0925 0.0015 1.57%
0.1270 7 0.1295 0.0025 1.99%
-0.1830 -10 -0.1850 0.0020 1.11%
0.2450 13 0.2406 0.0044 1.82%
-0.3120 -17 -0.3146 0.0026 0.82%
0.4870 26 0.4811 0.0059 1.21%
-0.6530 -35 -0.6476 0.0054 0.82%
0.8210 44 0.8142 0.0068 0.83%
1.2040 65 1.2028 0.0012 0.10%
-2.3500 -127 -2.3500 0.0000 0.00%
最大绝对误差=0.0068 最大相对误差=54.20% (出现在 w=0.0120) 压成0的个数=0/13
== INT4 对称量化 scale=0.335714 qmax=7 ==
原始值 量化值 反量化 绝对误差 相对误差
0.0120 0 0.0000 0.0120 100.00%
-0.0310 0 0.0000 0.0310 100.00%
0.0580 0 0.0000 0.0580 100.00%
-0.0940 0 0.0000 0.0940 100.00%
0.1270 0 0.0000 0.1270 100.00%
-0.1830 -1 -0.3357 0.1527 83.45%
0.2450 1 0.3357 0.0907 37.03%
-0.3120 -1 -0.3357 0.0237 7.60%
0.4870 1 0.3357 0.1513 31.06%
-0.6530 -2 -0.6714 0.0184 2.82%
0.8210 2 0.6714 0.1496 18.22%
1.2040 4 1.3429 0.1389 11.53%
-2.3500 -7 -2.3500 0.0000 0.00%
最大绝对误差=0.1527 最大相对误差=100.00% (出现在 w=0.0120) 压成0的个数=5/13
== 加入一个异常值 5.870 后,只看 INT4 ==
scale=0.838571(原 scale=0.335714,放大 2.5 倍)
平均绝对误差=0.1534 最大绝对误差=0.3654 压成0的个数=8/14
前 13 个权重中,INT4 全为 0 的有 8 个
INT8 这一组里,最大绝对误差是 0.0068,相对误差最大却出现在最小的权重 0.012 上,达到 54.2%。原因很直白:0.012 只占 0.65 个格点,四舍五入到最近的格点,绝对值只差 0.0065,但相对于它自己就是一半。绝对误差小,相对误差大,这两个指标说的是两件事。
INT4 这一组更值得看。scale 从 0.0185 变成 0.3357,格点间距一下子粗了十八倍,13 个权重里有 5 个直接变成 0。最大绝对误差 0.1527,不超过半个格点 0.1679;而那个绝对值最大的 -2.350 被钉在 -7 号格点上,误差是零。也就是说,最显眼的大权重反而最准,遭殃的是它旁边那些中等大小的值。
这也解释了为什么有些方案的平均误差看着不错,实际用起来却退化:平均值被大量小误差拉低,真正决定输出的却是少数关键权重。看误差的分布和置零比例,比看一个全局均值有用。
量化压掉的到底是什么
32 位浮点数由符号位、指数位和尾数位组成。指数位让它能表示极大和极小的数,尾数位决定它的有效数字。它像一把可以伸缩的尺子:量小东西时刻度很细,量大东西时刻度变粗,但相对精度基本稳定,通常是百万分之一量级。
位宽不是唯一的变量。同样是 16 位,fp16 和 bf16 的指数位、尾数位分配不同:fp16 尾数多,精度细但范围窄;bf16 的指数位和 fp32 一样多,范围大但精度粗。量化关心的是用多少位、怎么分配,不是简单地数位数。一个模型用 bf16 存权重,和把它量化到 int8,是两种完全不同的压缩路径,误差表现也不会一样。
8 位整数只有 256 个格子,16 位整数只有 65536 个格子。它像一把刻度固定的尺子,从最小值到最大值均分。量化要做的事,就是把浮点数挤进这些固定格子里:先选一个缩放系数 scale,再算 q 等于 x 除以 scale 后四舍五入,最后把 q 限制在允许的整数范围内。反量化就是 q 乘以 scale。因为每次都要落在格点上,单个数的误差最大是半个格点,也就是 scale 的一半。
这里有一个常见误会。有人看到大权重的误差绝对值更大,就说大值更容易被量化坏。严格说不是。最大权重会被 scale 对齐,通常正好落在格点上,误差为零;真正的问题是这个大值把 scale 抬高了。scale 与最大绝对值成正比,最大绝对值越大,所有人的误差上限越高。表里那个 0.1527,是格点间距的一半左右,不是 -2.350 自己算不准。大值像房间里最高的人,把门框抬高了,结果矮个子全从门缝里掉出去。
所以判断量化误差,不能只看一个指标。绝对误差决定数值整体偏移了多少,相对误差决定那些小权重还有没有意义。小权重被压成 0,不一定是灾难,因为模型本身就有大量接近 0 的权重;但如果某一层的关键权重被压成 0,输出就会明显跑偏。要定位,只能逐层看,不能拿一个全局平均值糊弄自己。
对称与非对称:scale 和 zero point
对称量化假设数据围绕 0 分布,只用一个 scale,把 0 映射到 0 号格点。整数范围取 -qmax 到 qmax,比如 INT8 是 -127 到 127,INT4 是 -7 到 7。反量化只需要一次乘法,计算简单,绝大多数权重量化都用这种形式。
非对称量化多一个 zero point,也就是零点偏移。它先看实际的最小值和最大值,用最大值减最小值除以格点数得到 scale,再把最小值映射到 0 号格点。量化时先算 x 除以 scale,再加上 zero point,反量化时先减掉 zero point 再乘 scale。这样即使数据全部是正数,比如 ReLU 之后的激活值,也能把整个整数范围用满,不会浪费一半格点。
对称量化
一个 scale,零点固定在 0。反量化是一次乘法,内核简单,硬件支持最广。代价是遇到整体偏移的数据时,有一半格点用不上,分辨率被浪费。
非对称量化
多一个 zero point,能把任意区间铺满整数范围,对全正或全负的激活更友好。代价是反量化多一次加法,部分推理内核不支持,部署时可能被迫换回对称方案。
scale 也不一定非要贴着最大值。如果最大值是个离群点,按它算 scale 会让整组变粗,这时可以截断:把超过某个百分位的值裁到边界,用牺牲一个异常值的代价换取整体分辨率。裁多少是超参数,要用校准数据算误差,不能拍脑袋。有的实现直接按均方误差搜索最优 scale,比取最大值更稳。
选哪种不是理论问题,而是部署问题。权重通常对称就够了,因为训练后的权重基本围绕 0;激活值是否用非对称,要看你用的推理框架和硬件是否真的支持。纸面上省下的那点误差,如果换来一个跑不快的内核,得不偿失。
逐张量、逐通道,异常值为什么毁精度
逐张量量化是整个权重矩阵共用一个 scale。实现最简单,但只要有一个人数值特别大,整个矩阵的格点都会变粗。上面那组实验里,加入一个 5.870 的异常值,scale 从 0.3357 涨到 0.8386,14 个权重里 8 个变成 0,最大绝对误差从 0.1527 涨到 0.3654。异常值自己倒是被精确表示了,代价是其他权重集体失真。
逐通道量化是给每个输出通道单独算一个 scale。一个通道里的异常值只影响这个通道,不会污染别的通道。工程上更常见的是分组量化:每 32 个或 128 个权重一组,每组一个 scale。组越小,精度越好,但 scale 的存储和反量化的开销也越大。这是典型的用空间和算力换精度。
分组量化还有个副作用:组边界会把原本相关的权重切开。组太小,scale 数量暴涨,元数据占用不可忽略;组太大,又退化成逐张量。选 32 还是 128,要看你模型的通道结构和推理内核的对齐要求,不能只看精度曲线。
权重里的异常值相对好处理,因为权重是固定的,离线就能统计。激活里的异常值更难缠,它随输入变化,今天这个通道冒出一个大值,明天换一段文本又轮到另一个通道。逐 token 动态量化能在运行时统计范围,但要多做一次归约;用校准集提前定好 scale 更省事,前提是校准数据要覆盖真实分布。
只压权重,还是连激活一起压
只量化权重、激活仍用 fp16,通常写成 W4A16 或 W8A8 之外的组合。解码阶段每生成一个 token,都要把巨大的权重从显存读一遍,瓶颈在显存带宽而不是算力,所以把权重压到 4bit 能实打实减少搬运量。这也是 weight-only 量化在单机部署里最常见的原因。
连激活一起量化,写成 W8A8 或 W4A4,收益在 prefill 阶段更明显,因为那时是矩阵乘法吃算力,整数内核可能更快。但激活的动态范围比权重难搞,异常值多,量化误差会直接进入每一层的计算结果。4bit 激活目前仍然挑模型、挑任务,不能一概而论。
把这两个阶段分开看,很多困惑就解开了。prefill 一次处理整段提示,矩阵大、并行度高,瓶颈更可能在算力;decode 一次只出一个 token,以矩阵向量乘法为主,瓶颈在把权重从显存搬到计算单元。权重量化对 decode 的帮助最直接,激活量化对 prefill 的帮助更明显。部署前先确认你的服务是长提示短输出,还是短提示长输出,再决定压哪一头。
压测方式也会骗人。只跑单条短请求,decode 占大头,容易高估量化收益;用真实长度的提示和输出去测,结果才接近线上。把首 token 延迟和每 token 延迟分开记,别混成一个平均值。
还有一个容易漏掉的对象:KV cache。长上下文推理时,KV cache 可能比权重还占显存。把它量化成 INT8 能省一半,但注意力分数对精度敏感,压得太狠会出现长文后半段跑偏。稳妥的顺序是:先只量化权重,测任务指标;再尝试 INT8 KV cache;最后才考虑 4bit 激活。每加一项,都要重新评测,不要一次全上。
INT4 掉的到底是精度还是能力
困惑度是模型对下一个 token 的平均惊讶程度,数值连续,变化平滑,所以很适合做量化的第一道筛查。但困惑度不直接等于任务能力。一个答案的对错是离散的,概率从 0.51 掉到 0.49,困惑度只变了一点点,答案却从对变成错。多步推理更明显:每一步只偏一点,十步之后可能走到完全不同的结论。
所以「INT4 掉的是精度还是能力」这个问题,得拆成三种表现。第一种是知识还在,但取不出来,表现为事实问答变差、专有名词记错。第二种是格式守不住,JSON 少括号、表格列数不对。第三种是多步推理的中途开始漂,前几步对,后面越算越偏。三种问题的修法不一样:第一种要保留更高位宽或加检索,第二种要靠约束解码和校验,第三种只能拿真实难题去测。
评测不能只跑一个通用榜单。准备二三十条你业务里的真实问题,覆盖事实、格式、多步推理三类,让模型在 fp16 和量化版本上各跑一遍,输出打乱顺序,人工盲评。采样温度设成 0,避免随机性干扰。比较时看通过率,也看失败的类型,是答错、漏答,还是格式坏掉。
样本量也要够。二三十条题只能看出明显差异,要判断百分之一二的下降,需要几百条,并且每条多跑几次。更实用的做法是分层:先跑少量高难度题做冒烟测试,发现明显退化就停下来排查;通过后再跑完整集算通过率。别用一次随机抽样的结果下结论,那样测出来的多半是噪声。
真实模型上的准确率变化,未在本机实测。这里给的只是方法和一组权重上的算术结果。任何声称「4bit 几乎无损」的说法,都要问清楚:什么模型、什么任务、什么评测集、允许多少下降。脱离这些条件的结论没有意义。
出了问题先看哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 4bit 后事实细节开始错 | 格点太粗,小权重被压成 0 | 统计每层置零比例与 scale 分布 |
| 同一个问题两次答案不同 | 采样随机性或量化内核非确定 | 固定种子、温度设 0 后复测 |
| 只有某几层输出异常 | 敏感层被统一压到 4bit | 逐层量化,找出误差最大的层 |
| 长文生成后半段崩 | KV cache 也被量化,误差累积 | 先只量化权重,KV 保持 fp16 |
| 显存降了但速度没变快 | 反量化开销大,或内核没走整数路径 | 看实际调用的 kernel 与带宽占用 |
| 换一批业务数据就变差 | 校准集分布和真实输入不匹配 | 用真实流量重做校准并复测 |
| 小模型量化后明显变傻 | 参数冗余少,容错空间低 | 换 8bit,或改用更大的底座 |
边界与代价
量化不是免费的午餐。省下的是显存占用和权重搬运量,付出的是精度、校准成本、内核兼容性和维护复杂度。4bit 权重在解码阶段通常更快,但在小 batch、短序列的场景里,反量化那点计算可能反而显眼;如果硬件没有对应的整数指令,所谓 4bit 只是存得小,算起来还是拆回浮点。
模型越小,量化越容易掉能力。大模型参数冗余多,个别权重失真可以被其他路径补回来;小模型本来余量就少,同样的误差比例可能直接跨过能力边界。所以「别人 4bit 能用」不能直接搬到你的 1.5B 模型上,必须自己测。
上线时留一条退路。把 fp16 版本保留在磁盘或另一台机器上,敏感请求走原始模型,量化版本先接低风险流量。监控里除了业务指标,还要记拒答率、格式错误率、平均输出长度,这些比困惑度更早暴露问题。真出问题时,能一键切回,比事后解释有用。
版本也要钉住。量化工具、内核实现、校准脚本任何一处变动,都会改变结果。把模型文件、量化配置、校准数据哈希记进发布记录,出问题时才能复现。只留一个「4bit 版本」的名字,过两个月没人说得清它到底是怎么压出来的。
当天能验证的练习
- 用本文脚本,把你手上某个模型的一层权重导出成列表,分别跑 INT8 和 INT4,统计置零比例和最大相对误差。
- 把逐张量改成逐通道,同一个权重矩阵再跑一遍,比较最大绝对误差缩小了多少。
- 从业务里挑 5 条问题,让 fp16 和量化版本各答一次,人工标对错,记录失败类型,而不是只看困惑度。
- 把量化模型的温度设为 0、固定种子,同一个提示重复 3 次,确认输出是否完全一致,顺便观察格式稳定性。
- 记录量化前后的显存占用和每秒生成 token 数;没有 GPU 就记录内存与耗时,并在笔记里注明「未在本机实测 GPU 性能」。
量化解决的是「同样的模型怎么塞进更小的显存」,但模型一次能看多少内容,是另一条完全不同的约束。下一篇从「资料明明在第一段,模型却答错」讲起,拆开位置编码、注意力成本、中间遗忘和长上下文与检索的取舍。