客服团队拿来一个开源模型,花两天微调,让它按固定 JSON 输出工单分类。格式确实学会了,准确率也上去了。上线一周,投诉来了:模型不会闲聊了,用户问「你们几点下班」,它回一段 JSON;原来能答的英文问题,现在开始中英混杂;遇到没见过的工单类型,它不再说「不确定」,而是硬塞一个最像的标签。
这就是微调最典型的副作用:你教它一件事,它把别的事忘了一点。新能力不是凭空加进去的,它是在原有参数上改出来的;改得越狠,原来的分布偏得越多。很多人把微调当成「给模型装个插件」,实际上更像「给一个已经毕业的人做岗前培训」,培训内容太窄,他会把大学学的东西也忘掉。
这篇把三件常被混为一谈的事分开:全参微调、LoRA 这类参数高效微调,以及指令微调。前两者是「改哪些参数」,后者是「用什么数据、怎么算损失」。搞清楚这两条轴,才知道自己该选哪种、代价在哪、什么时候不该微调。
格式学会了,能力丢了
先把这个现象拆开。微调时,模型看到的每一批数据都是同一种格式、同一个领域、同一种语气。参数朝着这个方向更新,模型对这批数据的预测越来越准,但对其他分布的预测就会偏移。
更隐蔽的一种是「答案记住了,能力没学会」。训练集里有多少种工单类型,模型就记住多少种;线上出现新类型,它没有「拒识」的能力,只能从见过的标签里挑一个。这不是它学会了分类,而是它背下了训练集的映射。验证集如果和训练集同分布,指标会很好看,换成真实流量就露馅。
还有一种是「格式对了,内容空了」。模型学会了 JSON 的括号、字段名、转义,但字段里的值开始胡编。格式是浅层模式,很容易学;内容是否正确,取决于模型原本的知识和训练数据的质量。两者混在一起看指标,就会误判。
评估时至少要分开看格式、领域任务、通用能力和拒识行为。哪一项掉了,才知道是数据问题、训练强度问题,还是不该用微调解决。
两条轴:改哪些参数,用什么数据
市面上的说法容易让人迷糊,因为「全参微调」「LoRA」「指令微调」并不在同一个分类维度上。
争论常常是把两条轴搅在一起。有人说「LoRA 不如全参」,那要看任务和数据量;有人说「指令微调会毁掉模型」,那要看数据配比和训练时长。分开看,结论会清楚很多。
全参微调:效果上限高,账也最重
全参微调就是拿预训练权重做初始化,所有参数都参与梯度更新。它的优势是容量最大,模型可以整体适应新分布,适合数据量足够、任务和原模型差异较大的场景,比如领域继续预训练、风格迁移、多语言能力补齐。
代价首先在显存。训练状态不只是权重:混合精度下,权重和梯度各占两字节,优化器还要存一份主权重和两个动量,每个参数合计十几字节。一个六点六 B 的模型,光训练状态就接近一百 GiB,还没算激活和临时缓冲。单卡放不下,就得上多卡并行或切分优化器状态。
其次是数据。全参微调参数量大,少量数据很容易被记住,过拟合来得快。数据要覆盖任务的输入分布,还要留出验证集;如果只准备了几百条样本,全参往往不如 LoRA 稳,因为 LoRA 的可训练参数少,反而不容易把原模型带偏。
第三是运维。全参微调每做一个任务就产出一份完整权重,存储和部署成本按模型大小乘任务数增长。多租户场景下,十个任务就是十份完整模型。LoRA 的适配器只有几十到几百 MB,这一点优势很实际。
LoRA:冻结原权重,只学一个低秩增量
LoRA 的全称是 Low-Rank Adaptation,低秩适配。它的做法很克制:原来的权重矩阵不动,在旁边加一个小分支,用两个小矩阵的乘积表示权重的增量。前向计算时,输出等于原权重乘输入,加上这个小分支乘输入。
为什么叫低秩?假设原矩阵是 d 行 d 列,LoRA 把它拆成一个 d 行 r 列的矩阵 A 和一个 r 行 d 列的矩阵 B,r 远小于 d。可训练参数从 d 乘 d 降到 r 乘 d 的两倍。r 就是秩,常见取值是 8、16、32,越大容量越强,参数也越多。
初始化有个细节:A 随机初始化,B 初始化为零,所以训练开始时增量是零,模型行为和原模型完全一致。这样不会一上来就把预训练权重破坏掉,训练更稳。
还有一个参数叫 alpha,用来缩放增量,实际生效的增量是 alpha 除以 r 再乘 B 乘 A。alpha 和 r 一起决定更新的幅度。常见做法是让 alpha 等于 r 或者两倍 r,但这只是经验,不是定律。换 r 的时候如果 alpha 不变,等效学习率会变,效果可能突然变差,这是很多人踩过的坑。
作用在哪些层,直接决定容量。只加在注意力的查询、键、值、输出四个矩阵,参数最省;再加上前馈层的三个矩阵,容量明显提升,参数也翻倍。任务简单、数据少,先动注意力就够了;任务复杂、数据多,再往前馈层扩。
LoRA 还有一个常被误解的点:它省的是训练显存,不是推理显存。适配器本身很小,但如果部署时不合并,前向要多算一个小分支;合并进原权重后没有额外延迟,但你就得到了一份新权重,失去了「一个基座挂多个适配器」的灵活性。
算一算:全参与 LoRA 差多少
下面这段程序按一个常见的结构假设,算全参和 LoRA 的可训练参数量。结构是 32 层、隐藏维度 4096、前馈维度 11008、词表三万二,LoRA 分别按 r 等于 8 和 16,作用范围分「仅注意力」和「注意力加前馈层」两种。
# -*- coding: utf-8 -*-
# 全参微调与 LoRA 可训练参数量对比(按常见 LLaMA 式结构假设,不是实测)
layers = 32
d_model = 4096
d_ff = 11008
vocab = 32000
per_layer = 4 * d_model * d_model + 3 * d_model * d_ff
embed = vocab * d_model
full = per_layer * layers + embed
print("结构假设: layers=%d d_model=%d d_ff=%d vocab=%d" % (layers, d_model, d_ff, vocab))
print("每层参数: %.2f M" % (per_layer / 1e6))
print("全参可训练: %.2f M (约 %.2f B)" % (full / 1e6, full / 1e9))
print()
# LoRA: 每个目标矩阵 W(d_out x d_in) 分解为 A(r x d_in) 与 B(d_out x r)
# 可训练参数 = r * d_in + d_out * r。这里目标矩阵都是方阵 d x d
def lora_params(n_matrices, r):
return n_matrices * layers * (r * d_model + d_model * r)
def show(name, n_matrices, r):
p = lora_params(n_matrices, r)
print("%-22s r=%-3d 可训练 %10.2f M 占比 %.3f%%" % (name, r, p / 1e6, 100 * p / full))
show("仅注意力 Q/K/V/O", 4, 8)
show("仅注意力 Q/K/V/O", 4, 16)
show("注意力 + MLP 三矩阵", 7, 8)
show("注意力 + MLP 三矩阵", 7, 16)
print()
print("全参训练显存粗估(与上一篇同口径):")
for label, bytes_per_param in (("bf16 混合精度全套", 16), ("仅权重+梯度 bf16", 4)):
print(" %-20s %.2f GiB" % (label, full * bytes_per_param / 1024 ** 3))
r = 16
p = lora_params(7, r)
print(" LoRA r=16 权重+梯度(bf16) %.2f GiB" % (p * 4 / 1024 ** 3))
print(" LoRA r=16 优化器(fp32) %.2f GiB" % (p * 12 / 1024 ** 3))
print()
print("按 16 卡切分全参优化器状态: %.2f GiB/卡" % (full * 12 / 1024 ** 3 / 16))
python lora_budget.py
结构假设: layers=32 d_model=4096 d_ff=11008 vocab=32000
每层参数: 202.38 M
全参可训练: 6607.08 M (约 6.61 B)
仅注意力 Q/K/V/O r=8 可训练 8.39 M 占比 0.127%
仅注意力 Q/K/V/O r=16 可训练 16.78 M 占比 0.254%
注意力 + MLP 三矩阵 r=8 可训练 14.68 M 占比 0.222%
注意力 + MLP 三矩阵 r=16 可训练 29.36 M 占比 0.444%
全参训练显存粗估(与上一篇同口径):
bf16 混合精度全套 98.45 GiB
仅权重+梯度 bf16 24.61 GiB
LoRA r=16 权重+梯度(bf16) 0.11 GiB
LoRA r=16 优化器(fp32) 0.33 GiB
按 16 卡切分全参优化器状态: 4.61 GiB/卡
先把口径说清楚:这些是粗估,不是实测。参数只算了注意力四个方阵和 MLP 三个矩阵,没算偏置、归一化、嵌入输出层的细节;显存按每个参数十六字节估全参训练状态,LoRA 只算适配器自己的权重、梯度和优化器状态,基座权重仍要占推理显存,但训练时通常不存它的梯度。
结果很清楚:全参可训练六点六一 B,LoRA 只占百分之零点一到零点四四。差距不是百分之几十,是两三个数量级。也正因如此,LoRA 的优化器状态和梯度几乎可以忽略,显存主要花在基座权重和激活上。
但占比小不等于效果一定差。任务越窄、数据越少,低秩增量越够用,甚至因为约束强而更不容易过拟合。任务越宽、数据越多,低秩容量会成为瓶颈,这时要么加秩、加作用层,要么干脆上全参。判断依据是验证集,不是参数占比。
指令微调:数据格式比算法重要
指令微调(instruction tuning)不是一种参数更新方式,而是一种数据组织方式。它把训练样本写成「指令、可选输入、期望输出」的结构,让模型学会在看到指令后给出回答,而不是接着续写。
最常见的问题是格式做了、损失算错。对话数据里,用户的话和助手的回答拼在一条序列里,如果对所有 token 都算损失,模型也在学着预测用户的话。正确做法是做损失掩码:只对助手回复部分算损失,用户部分标成不计算。不同框架的写法不一样,但原理相同。
数据质量比数量更关键。一份指令数据至少要看四件事:指令是否清楚、回答是否正确、覆盖的任务是否多样、风格是否一致。回答里有事实错误,模型会把这些错误当成标准答案学进去。
多样性也重要。只训练分类任务,模型会把所有问题都当分类;混入一些开放问答、拒识样本、简短回答,模型的行为才不容易走极端。很多团队会掺入一部分通用指令数据,就是为了对抗灾难性遗忘,这个做法叫数据回放。
多轮对话还要注意模板一致。训练时用的角色标记、分隔符、结束符,推理时也要一致;训练时助手回答后面有结束符,推理时却忘了加,模型就不知道什么时候停。
灾难性遗忘、过拟合与泄漏
这三个问题经常一起出现,但原因不同,处理方式也不同。
灾难性遗忘是分布偏移:新数据只覆盖一小块任务,模型把参数往这块挪,其他能力被挤掉。表现为通用问答变差、英文变差、长文本能力下降。缓解办法包括降低学习率、减少训练步数、混入通用数据、用 LoRA 限制可训练参数、只训练部分层。没有一种能完全避免,只能权衡。
过拟合是记住了训练集而不是学会规律。表现是训练损失持续下降、验证损失先降后升,或者验证集换个措辞就答错。样本少、重复多、训练久,都会加重。处理办法是去重、增加多样性、早停、加正则、换更小的秩。别用训练损失判断什么时候停,要看独立验证集。
评测集泄漏是最容易被忽视的。训练数据从业务日志里抽,验收集也从同一批日志里抽,两边有大量重复问法;或者训练数据里本来就含有评测题的答案。结果是指标很高,线上一问就错。检查方法是做重叠分析,按句子、按 n 元组、按语义近似都查一遍。
三者还会互相伪装。灾难性遗忘被误判成「数据不够」,于是继续加数据、加步数,越训越糟;过拟合被误判成「模型容量不够」,于是换更大模型,结果记住得更多;泄漏被误判成「微调成功」,于是放心上线。判断的关键是留一份和训练数据严格隔离的验收集,并按能力维度分开看。
微调不是知识注入的万能药
很多人想让模型学会公司内部的产品知识、政策条款、最新价格,第一反应是微调。少量数据微调,模型确实能说出一些关键词,但经常说得似是而非,甚至把相近的产品混在一起。原因很简单:微调改变的是行为和风格,不是可靠的事实存储。
事实性知识要在参数里学扎实,需要大量重复、多样表述、以及足够的模型容量。几百条问答远远不够,模型更像是在「顺着问题编一个像答案的句子」。而且要更新知识,就得重新微调;知识一变,旧权重里还残留着旧说法,两个版本冲突时,模型可能挑错。
更现实的做法是检索增强:把产品文档、政策、价格放在外部索引里,推理时先检索再回答。知识更新只改索引,不用重训;答案可以给出出处,便于核对。微调在这里的角色是「教会模型怎么用检索结果」,而不是「把知识塞进参数」。
真要把大量领域知识写进参数,那更接近继续预训练,需要海量文本和足够算力,不是几百条指令能达到的。
出了问题先看哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 格式学会了,通用问答明显变差 | 灾难性遗忘,训练数据分布太窄 | 混入通用指令数据,降学习率,改用 LoRA |
| 训练损失很低,线上却很差 | 过拟合,或验收集与训练集同源 | 换严格隔离的验收集,看两条曲线是否分叉 |
| 模型复读训练集原话 | 样本重复、数量太少、训练步数过多 | 去重,早停,增加指令多样性 |
| 全参微调显存不够 | 权重、梯度、优化器状态合计太大 | 按每参数十六字节估账,改用 LoRA 或多卡切分 |
| LoRA 效果明显不如全参 | 秩太小、作用层太少、数据量不足 | 提高 r,加上 MLP 层,先确认数据质量 |
| 微调后开始编造事实 | 把知识注入当成格式微调来做 | 改用检索增强,或评估是否需要继续预训练 |
| 回答停不下来,或把用户的话也生成 | 训练与推理的对话模板不一致 | 对齐角色标记、结束符和损失掩码 |
| 换基座版本后适配器加载失败 | 模块名或维度不匹配 | 核对目标层名称、隐藏维度和保存格式 |
边界与代价
微调能改行为,改不了容量。模型原本不会的东西,靠少量样本微调通常还是不会;模型原本会但不愿意做的,微调可以把它引导出来。判断一个需求该不该微调,先问:这是「行为问题」还是「知识问题」?行为问题适合微调,知识问题优先检索或继续预训练。
微调也有维护成本。基座模型升级,适配器要重新验证;数据分布变化,微调数据要更新;多个任务并存,要有版本管理和回滚方案。全参微调还要考虑存储和部署的复制成本。
评测是最容易被省掉的一环,也是最贵的一环。你需要一套覆盖格式、任务、通用能力、拒识的验收集,还要定期用新数据更新它。没有这套东西,微调就是凭感觉调参,今天好明天坏,也说不清原因。
微调也不是「越久越好」。训练步数、学习率、数据配比都有最优区间,过了区间效果会回落。看到训练损失还在降就继续训,是最常见的错误之一。
当天能验证的练习
- 把文中脚本的隐藏维度改成 2048 和 8192,重算 LoRA 占比,解释为什么维度变化时占比几乎不变。
- 拿一百条业务指令数据,按模板统计重复率和指令类型分布,找出占比过高的那一类。
- 用三行四列的玩具矩阵手算 LoRA 在 r 等于 1 和 2 时的参数量,再和公式结果对照。
- 把一条对话样本拆成用户部分和助手部分,写出哪些 token 该计入损失、哪些该掩掉,并说明理由。
- 取训练集和验收集各五十条,做 n 元组重叠检查,列出所有可疑的重复问法。
这五个练习不需要 GPU,全部能在本机完成。它们对应的是微调前后最该先做的检查:算账、看数据、对模板、查泄漏。
下一篇:推理
微调完只是拿到了权重,真正让用户用起来的是推理服务。为什么首 token 要等好几秒、后面反而快;并发一上来为什么就爆显存;KV cache 到底存了什么、为什么会随长度线性增长。下一篇从这两个现象切入,把推理的显存账算清楚。下一篇的标题是《推理:KV cache、批处理与显存账,为什么首 token 慢》。