客服团队拿来一个开源模型,花两天微调,让它按固定 JSON 输出工单分类。格式确实学会了,准确率也上去了。上线一周,投诉来了:模型不会闲聊了,用户问「你们几点下班」,它回一段 JSON;原来能答的英文问题,现在开始中英混杂;遇到没见过的工单类型,它不再说「不确定」,而是硬塞一个最像的标签。

这就是微调最典型的副作用:你教它一件事,它把别的事忘了一点。新能力不是凭空加进去的,它是在原有参数上改出来的;改得越狠,原来的分布偏得越多。很多人把微调当成「给模型装个插件」,实际上更像「给一个已经毕业的人做岗前培训」,培训内容太窄,他会把大学学的东西也忘掉。

这篇把三件常被混为一谈的事分开:全参微调、LoRA 这类参数高效微调,以及指令微调。前两者是「改哪些参数」,后者是「用什么数据、怎么算损失」。搞清楚这两条轴,才知道自己该选哪种、代价在哪、什么时候不该微调。

格式学会了,能力丢了

先把这个现象拆开。微调时,模型看到的每一批数据都是同一种格式、同一个领域、同一种语气。参数朝着这个方向更新,模型对这批数据的预测越来越准,但对其他分布的预测就会偏移。

更隐蔽的一种是「答案记住了,能力没学会」。训练集里有多少种工单类型,模型就记住多少种;线上出现新类型,它没有「拒识」的能力,只能从见过的标签里挑一个。这不是它学会了分类,而是它背下了训练集的映射。验证集如果和训练集同分布,指标会很好看,换成真实流量就露馅。

还有一种是「格式对了,内容空了」。模型学会了 JSON 的括号、字段名、转义,但字段里的值开始胡编。格式是浅层模式,很容易学;内容是否正确,取决于模型原本的知识和训练数据的质量。两者混在一起看指标,就会误判。

评估时至少要分开看格式、领域任务、通用能力和拒识行为。哪一项掉了,才知道是数据问题、训练强度问题,还是不该用微调解决。

两条轴:改哪些参数,用什么数据

市面上的说法容易让人迷糊,因为「全参微调」「LoRA」「指令微调」并不在同一个分类维度上。

参数轴:全参微调更新所有权重;LoRA 只训练一小部分新增参数,原权重冻结;还有冻结部分层的做法,介于两者之间。
数据轴:继续预训练用海量无标注文本;指令微调用「指令加回答」的配对数据;偏好对齐用「两个回答哪个更好」的比较数据。
两者可以组合:你可以用 LoRA 做指令微调,也可以全参做领域继续预训练。选型时要分别回答「改多少参数」和「喂什么数据」。

争论常常是把两条轴搅在一起。有人说「LoRA 不如全参」,那要看任务和数据量;有人说「指令微调会毁掉模型」,那要看数据配比和训练时长。分开看,结论会清楚很多。

全参微调:效果上限高,账也最重

全参微调就是拿预训练权重做初始化,所有参数都参与梯度更新。它的优势是容量最大,模型可以整体适应新分布,适合数据量足够、任务和原模型差异较大的场景,比如领域继续预训练、风格迁移、多语言能力补齐。

代价首先在显存。训练状态不只是权重:混合精度下,权重和梯度各占两字节,优化器还要存一份主权重和两个动量,每个参数合计十几字节。一个六点六 B 的模型,光训练状态就接近一百 GiB,还没算激活和临时缓冲。单卡放不下,就得上多卡并行或切分优化器状态。

其次是数据。全参微调参数量大,少量数据很容易被记住,过拟合来得快。数据要覆盖任务的输入分布,还要留出验证集;如果只准备了几百条样本,全参往往不如 LoRA 稳,因为 LoRA 的可训练参数少,反而不容易把原模型带偏。

第三是运维。全参微调每做一个任务就产出一份完整权重,存储和部署成本按模型大小乘任务数增长。多租户场景下,十个任务就是十份完整模型。LoRA 的适配器只有几十到几百 MB,这一点优势很实际。

全参微调不是「更高级所以更好」。它是容量和成本的上限选项,只有在数据、算力、运维都撑得住时,收益才明显。小团队做垂直任务,LoRA 往往是更合适的起点。

LoRA:冻结原权重,只学一个低秩增量

LoRA 的全称是 Low-Rank Adaptation,低秩适配。它的做法很克制:原来的权重矩阵不动,在旁边加一个小分支,用两个小矩阵的乘积表示权重的增量。前向计算时,输出等于原权重乘输入,加上这个小分支乘输入。

为什么叫低秩?假设原矩阵是 d 行 d 列,LoRA 把它拆成一个 d 行 r 列的矩阵 A 和一个 r 行 d 列的矩阵 B,r 远小于 d。可训练参数从 d 乘 d 降到 r 乘 d 的两倍。r 就是秩,常见取值是 8、16、32,越大容量越强,参数也越多。

初始化有个细节:A 随机初始化,B 初始化为零,所以训练开始时增量是零,模型行为和原模型完全一致。这样不会一上来就把预训练权重破坏掉,训练更稳。

还有一个参数叫 alpha,用来缩放增量,实际生效的增量是 alpha 除以 r 再乘 B 乘 A。alpha 和 r 一起决定更新的幅度。常见做法是让 alpha 等于 r 或者两倍 r,但这只是经验,不是定律。换 r 的时候如果 alpha 不变,等效学习率会变,效果可能突然变差,这是很多人踩过的坑。

作用在哪些层,直接决定容量。只加在注意力的查询、键、值、输出四个矩阵,参数最省;再加上前馈层的三个矩阵,容量明显提升,参数也翻倍。任务简单、数据少,先动注意力就够了;任务复杂、数据多,再往前馈层扩。

LoRA 还有一个常被误解的点:它省的是训练显存,不是推理显存。适配器本身很小,但如果部署时不合并,前向要多算一个小分支;合并进原权重后没有额外延迟,但你就得到了一份新权重,失去了「一个基座挂多个适配器」的灵活性。

算一算:全参与 LoRA 差多少

下面这段程序按一个常见的结构假设,算全参和 LoRA 的可训练参数量。结构是 32 层、隐藏维度 4096、前馈维度 11008、词表三万二,LoRA 分别按 r 等于 8 和 16,作用范围分「仅注意力」和「注意力加前馈层」两种。

# -*- coding: utf-8 -*-
# 全参微调与 LoRA 可训练参数量对比(按常见 LLaMA 式结构假设,不是实测)

layers = 32
d_model = 4096
d_ff = 11008
vocab = 32000

per_layer = 4 * d_model * d_model + 3 * d_model * d_ff
embed = vocab * d_model
full = per_layer * layers + embed

print("结构假设: layers=%d d_model=%d d_ff=%d vocab=%d" % (layers, d_model, d_ff, vocab))
print("每层参数: %.2f M" % (per_layer / 1e6))
print("全参可训练: %.2f M (约 %.2f B)" % (full / 1e6, full / 1e9))
print()

# LoRA: 每个目标矩阵 W(d_out x d_in) 分解为 A(r x d_in) 与 B(d_out x r)
# 可训练参数 = r * d_in + d_out * r。这里目标矩阵都是方阵 d x d
def lora_params(n_matrices, r):
    return n_matrices * layers * (r * d_model + d_model * r)

def show(name, n_matrices, r):
    p = lora_params(n_matrices, r)
    print("%-22s r=%-3d 可训练 %10.2f M  占比 %.3f%%" % (name, r, p / 1e6, 100 * p / full))

show("仅注意力 Q/K/V/O", 4, 8)
show("仅注意力 Q/K/V/O", 4, 16)
show("注意力 + MLP 三矩阵", 7, 8)
show("注意力 + MLP 三矩阵", 7, 16)
print()

print("全参训练显存粗估(与上一篇同口径):")
for label, bytes_per_param in (("bf16 混合精度全套", 16), ("仅权重+梯度 bf16", 4)):
    print("  %-20s %.2f GiB" % (label, full * bytes_per_param / 1024 ** 3))
r = 16
p = lora_params(7, r)
print("  LoRA r=16 权重+梯度(bf16) %.2f GiB" % (p * 4 / 1024 ** 3))
print("  LoRA r=16 优化器(fp32)    %.2f GiB" % (p * 12 / 1024 ** 3))
print()
print("按 16 卡切分全参优化器状态: %.2f GiB/卡" % (full * 12 / 1024 ** 3 / 16))
python lora_budget.py
结构假设: layers=32 d_model=4096 d_ff=11008 vocab=32000
每层参数: 202.38 M
全参可训练: 6607.08 M (约 6.61 B)

仅注意力 Q/K/V/O           r=8   可训练       8.39 M  占比 0.127%
仅注意力 Q/K/V/O           r=16  可训练      16.78 M  占比 0.254%
注意力 + MLP 三矩阵          r=8   可训练      14.68 M  占比 0.222%
注意力 + MLP 三矩阵          r=16  可训练      29.36 M  占比 0.444%

全参训练显存粗估(与上一篇同口径):
  bf16 混合精度全套          98.45 GiB
  仅权重+梯度 bf16          24.61 GiB
  LoRA r=16 权重+梯度(bf16) 0.11 GiB
  LoRA r=16 优化器(fp32)    0.33 GiB

按 16 卡切分全参优化器状态: 4.61 GiB/卡

先把口径说清楚:这些是粗估,不是实测。参数只算了注意力四个方阵和 MLP 三个矩阵,没算偏置、归一化、嵌入输出层的细节;显存按每个参数十六字节估全参训练状态,LoRA 只算适配器自己的权重、梯度和优化器状态,基座权重仍要占推理显存,但训练时通常不存它的梯度。

结果很清楚:全参可训练六点六一 B,LoRA 只占百分之零点一到零点四四。差距不是百分之几十,是两三个数量级。也正因如此,LoRA 的优化器状态和梯度几乎可以忽略,显存主要花在基座权重和激活上。

但占比小不等于效果一定差。任务越窄、数据越少,低秩增量越够用,甚至因为约束强而更不容易过拟合。任务越宽、数据越多,低秩容量会成为瓶颈,这时要么加秩、加作用层,要么干脆上全参。判断依据是验证集,不是参数占比。

指令微调:数据格式比算法重要

指令微调(instruction tuning)不是一种参数更新方式,而是一种数据组织方式。它把训练样本写成「指令、可选输入、期望输出」的结构,让模型学会在看到指令后给出回答,而不是接着续写。

最常见的问题是格式做了、损失算错。对话数据里,用户的话和助手的回答拼在一条序列里,如果对所有 token 都算损失,模型也在学着预测用户的话。正确做法是做损失掩码:只对助手回复部分算损失,用户部分标成不计算。不同框架的写法不一样,但原理相同。

数据质量比数量更关键。一份指令数据至少要看四件事:指令是否清楚、回答是否正确、覆盖的任务是否多样、风格是否一致。回答里有事实错误,模型会把这些错误当成标准答案学进去。

多样性也重要。只训练分类任务,模型会把所有问题都当分类;混入一些开放问答、拒识样本、简短回答,模型的行为才不容易走极端。很多团队会掺入一部分通用指令数据,就是为了对抗灾难性遗忘,这个做法叫数据回放。

多轮对话还要注意模板一致。训练时用的角色标记、分隔符、结束符,推理时也要一致;训练时助手回答后面有结束符,推理时却忘了加,模型就不知道什么时候停。

指令微调的数据里如果混进了评测集,指标会虚高。上线前一定要做训练集与验收集的重叠检查,按 n 元组或近似匹配查,不要只看文件名和目录。

灾难性遗忘、过拟合与泄漏

这三个问题经常一起出现,但原因不同,处理方式也不同。

灾难性遗忘是分布偏移:新数据只覆盖一小块任务,模型把参数往这块挪,其他能力被挤掉。表现为通用问答变差、英文变差、长文本能力下降。缓解办法包括降低学习率、减少训练步数、混入通用数据、用 LoRA 限制可训练参数、只训练部分层。没有一种能完全避免,只能权衡。

过拟合是记住了训练集而不是学会规律。表现是训练损失持续下降、验证损失先降后升,或者验证集换个措辞就答错。样本少、重复多、训练久,都会加重。处理办法是去重、增加多样性、早停、加正则、换更小的秩。别用训练损失判断什么时候停,要看独立验证集。

评测集泄漏是最容易被忽视的。训练数据从业务日志里抽,验收集也从同一批日志里抽,两边有大量重复问法;或者训练数据里本来就含有评测题的答案。结果是指标很高,线上一问就错。检查方法是做重叠分析,按句子、按 n 元组、按语义近似都查一遍。

三者还会互相伪装。灾难性遗忘被误判成「数据不够」,于是继续加数据、加步数,越训越糟;过拟合被误判成「模型容量不够」,于是换更大模型,结果记住得更多;泄漏被误判成「微调成功」,于是放心上线。判断的关键是留一份和训练数据严格隔离的验收集,并按能力维度分开看。

微调不是知识注入的万能药

很多人想让模型学会公司内部的产品知识、政策条款、最新价格,第一反应是微调。少量数据微调,模型确实能说出一些关键词,但经常说得似是而非,甚至把相近的产品混在一起。原因很简单:微调改变的是行为和风格,不是可靠的事实存储。

事实性知识要在参数里学扎实,需要大量重复、多样表述、以及足够的模型容量。几百条问答远远不够,模型更像是在「顺着问题编一个像答案的句子」。而且要更新知识,就得重新微调;知识一变,旧权重里还残留着旧说法,两个版本冲突时,模型可能挑错。

更现实的做法是检索增强:把产品文档、政策、价格放在外部索引里,推理时先检索再回答。知识更新只改索引,不用重训;答案可以给出出处,便于核对。微调在这里的角色是「教会模型怎么用检索结果」,而不是「把知识塞进参数」。

真要把大量领域知识写进参数,那更接近继续预训练,需要海量文本和足够算力,不是几百条指令能达到的。

出了问题先看哪里

现象真实原因第一步查什么
格式学会了,通用问答明显变差灾难性遗忘,训练数据分布太窄混入通用指令数据,降学习率,改用 LoRA
训练损失很低,线上却很差过拟合,或验收集与训练集同源换严格隔离的验收集,看两条曲线是否分叉
模型复读训练集原话样本重复、数量太少、训练步数过多去重,早停,增加指令多样性
全参微调显存不够权重、梯度、优化器状态合计太大按每参数十六字节估账,改用 LoRA 或多卡切分
LoRA 效果明显不如全参秩太小、作用层太少、数据量不足提高 r,加上 MLP 层,先确认数据质量
微调后开始编造事实把知识注入当成格式微调来做改用检索增强,或评估是否需要继续预训练
回答停不下来,或把用户的话也生成训练与推理的对话模板不一致对齐角色标记、结束符和损失掩码
换基座版本后适配器加载失败模块名或维度不匹配核对目标层名称、隐藏维度和保存格式

边界与代价

微调能改行为,改不了容量。模型原本不会的东西,靠少量样本微调通常还是不会;模型原本会但不愿意做的,微调可以把它引导出来。判断一个需求该不该微调,先问:这是「行为问题」还是「知识问题」?行为问题适合微调,知识问题优先检索或继续预训练。

微调也有维护成本。基座模型升级,适配器要重新验证;数据分布变化,微调数据要更新;多个任务并存,要有版本管理和回滚方案。全参微调还要考虑存储和部署的复制成本。

评测是最容易被省掉的一环,也是最贵的一环。你需要一套覆盖格式、任务、通用能力、拒识的验收集,还要定期用新数据更新它。没有这套东西,微调就是凭感觉调参,今天好明天坏,也说不清原因。

微调也不是「越久越好」。训练步数、学习率、数据配比都有最优区间,过了区间效果会回落。看到训练损失还在降就继续训,是最常见的错误之一。

当天能验证的练习

  1. 把文中脚本的隐藏维度改成 2048 和 8192,重算 LoRA 占比,解释为什么维度变化时占比几乎不变。
  2. 拿一百条业务指令数据,按模板统计重复率和指令类型分布,找出占比过高的那一类。
  3. 用三行四列的玩具矩阵手算 LoRA 在 r 等于 1 和 2 时的参数量,再和公式结果对照。
  4. 把一条对话样本拆成用户部分和助手部分,写出哪些 token 该计入损失、哪些该掩掉,并说明理由。
  5. 取训练集和验收集各五十条,做 n 元组重叠检查,列出所有可疑的重复问法。

这五个练习不需要 GPU,全部能在本机完成。它们对应的是微调前后最该先做的检查:算账、看数据、对模板、查泄漏。

下一篇:推理

微调完只是拿到了权重,真正让用户用起来的是推理服务。为什么首 token 要等好几秒、后面反而快;并发一上来为什么就爆显存;KV cache 到底存了什么、为什么会随长度线性增长。下一篇从这两个现象切入,把推理的显存账算清楚。下一篇的标题是《推理:KV cache、批处理与显存账,为什么首 token 慢》。