一个做零件缺陷检测的项目,现场只凑出三百张带标注的图,四类缺陷,长尾分布,最少的类只有二十张。第一版从随机初始化开始训,训练集很快到九成,验证集一直在三成附近晃,和按比例乱猜差不多。换成预训练主干、只训分类头,同样的三百张,验证集第一轮就明显好于乱猜。差别不在数据量,而在起点。
迁移学习就是用别人在大数据集上学到的特征,给自己的小任务当起点。它不是把别人的模型原样拿来用,而是把「怎么看待图像」这件事迁移过来,再让最后一小段适配你的类别。听起来简单,实际落地时有一串细节:冻哪些层、学习率怎么给、BatchNorm 要不要动、输入尺寸能不能改。任何一项没对齐,效果都会打折。
这篇按落地顺序讲:先解释预训练特征为什么有用,再对比三种微调方案,然后把学习率、BatchNorm、预处理、切分和早停逐个说清楚。最后跑一段只用标准库的参数统计,量一量不同方案到底在训练多少参数。真实预训练模型的准确率、显存和延迟,本文没有在本机实测,不引用具体数字。
三百张图从头训,问题不在模型太小
卷积网络的参数通常是百万到千万量级。三百张图、四类,平均每类七十多张,要养活这么多参数,必然过拟合。更麻烦的是,小数据集上的随机初始化很难学到有用的低级特征:边缘、颜色、纹理这些模式需要大量样本才能稳定出现。模型在训练集上记住的是这批图的背景和拍摄习惯,换一批就失效。
还有一个隐性因素:小数据集的验证集本身很小。三百张里留六十张做验证,每差一张图,准确率就跳一点七个百分点。你看到的「三成」和「四成」可能只是抽样波动。做实验时要把验证集固定,并且用多次不同随机种子的切分看稳定性,别被单次数字带跑。
所以小数据集的核心矛盾不是「模型够不够强」,而是「参数太多、有效信号太少」。迁移学习的价值,就是把大量通用图像里学到的特征作为先验,减少模型需要从你这三百张图里重新发现的东西。
预训练特征为什么能迁移
图像网络在大规模数据上训出来的特征,有明显的层次。靠前的层学边缘、颜色块、简单纹理;中间层学纹理组合、局部部件,比如条纹、轮子、眼睛;靠后的层学完整物体和类别相关的组合。你的任务不管是零件缺陷还是细胞分类,前两层要处理的东西都差不多:明暗过渡、边缘方向、局部对比度。这些特征可以直接借用。
越靠后的层,和原任务的类别越绑定,可迁移性越差。原模型学的是「猫耳朵」「狗鼻子」,你的任务是「划痕」「凹坑」,这些高层语义对不上,需要重新学。这也是为什么常见做法是冻结前半段、重训后半段,而不是把所有层都冻死。
域差距决定迁移的难度。自然图像和工业图像在纹理、光照、背景上差别很大,但边缘和局部对比度仍然通用;医学图像和自然图像差距更大,颜色含义完全不同,靠前层也可能需要调整。判断迁移是否有效,最直接的办法是拿预训练模型在你的验证集上直接推理,看特征是否已经能分开类别。如果随便取中间层特征做最近邻都很差,说明域差距太大,可能需要更多数据和更深的微调。
冻结、解冻一部分、全参微调
冻结就是把某些层的参数设为不更新,反向传播经过这些层时不算梯度。只训最后分类头,是最省数据、最不容易崩的方案,适合样本极少、域差距不大的情况。缺点是特征完全不适应新任务,如果新任务的判别信息和原任务差很远,上限会受限。
解冻最后几个阶段,是折中方案。前面的通用特征保留,后面的高层特征和分类头一起适配。解冻多少要看数据量:几百张图通常只解冻最后一个阶段,几千张可以多解冻一些,上万张再考虑全参。解冻得越多,越接近从头训,对小数据越不友好。
冻结主干,只训分类头
可训练参数最少,训练最快,最不容易过拟合。适合三百张以内、类别和原任务接近的场景。风险是特征不适应,指标有天花板,且 BatchNorm 必须保持在推理模式。
全参微调
所有参数都更新,上限最高,但需要更多数据和更小的学习率。小数据上很容易灾难性遗忘,几步就把预训练特征拉飞。适合数据量足够、域差距大的场景。
中间路线不是简单的「解冻一半」。比较稳的做法是按阶段解冻:先只训头几轮,等分类头稳定,再解冻最后一个阶段,用更低的学习率继续,避免乱梯度传回主干。
学习率:分类头要大,主干要小
分类头是随机初始化的,需要正常甚至偏大的学习率;主干是预训练好的,只需要很小的调整。两边用同一个学习率,要么头学得太慢,要么主干被改坏。判别式学习率就是给不同层设不同学习率,常见比例是头比主干大一个数量级,主干再用更小的值。
具体数值没有万能答案,和数据量、batch 大小、优化器都有关。可以先用一个较小的学习率只训头,观察损失是否稳定下降;稳定后再解冻最后一阶段,把主干学习率降到头的十分之一左右。学习率太大时,损失会先降后突然发散;太小时,损失下降很慢但稳定。两种失败模式要分清。
预热和衰减也值得用。分类头刚初始化时梯度很大,先用很小的学习率跑一段,再升到目标值,叫预热;后期逐步衰减,收敛更稳。核心是别让大梯度在错误的方向上走太远。
BatchNorm 统计量:冻结时最容易踩的坑
BatchNorm 在训练时会用当前 batch 的均值和方差归一化,同时维护一套滑动平均的全局统计量;推理时用全局统计量,不再看当前 batch。冻结主干时,如果你只把参数设成不更新,却忘了把整个网络切到推理模式,BatchNorm 仍然会用你的小 batch 统计量,把预训练时积累的分布改掉。更糟的是,这些统计量还会被更新,几轮之后主干就“漂”了。
正确做法是:冻结的阶段显式设为推理模式,统计量不更新;可训练的阶段保持训练模式。很多框架里冻结参数和切换模式是两件独立的事,只做一件就会出问题。验证时整个网络都应该是推理模式,这点和是否冻结无关。
小 batch 是另一个雷。batch 只有四张时,BatchNorm 的均值方差估计非常不稳,训练损失会剧烈跳动。如果必须用小 batch,可以考虑把 BatchNorm 换成 GroupNorm 之类的归一化,或者用梯度累积模拟更大的 batch。全参微调时如果 batch 太小,BatchNorm 的更新会把预训练统计量带偏,这也是小数据全参微调经常失败的原因之一。
输入尺寸与归一化,必须和预训练对齐
预训练模型是在特定预处理下训出来的:固定的输入尺寸、固定的均值方差、固定的通道顺序。推理时如果喂进去的图是 BGR 而不是 RGB,或者均值方差用错,特征会整体偏移,模型看起来「什么都认不出」。这类错误不会报异常,只会让指标莫名其妙地低。
尺寸也要注意。分类模型通常有固定输入,比如 224 乘 224。你可以改成更大的尺寸,但位置编码、感受野和统计量都可能不匹配,效果不一定提升。先用预训练默认尺寸跑一个基线,再尝试更大尺寸,并且用同一套验证集比较。不要一上来就改成 512,然后拿一个没调过的结果下结论。
缩放方式同样要对齐。直接拉伸会改变宽高比,保持比例的补边会引入灰边。训练和推理必须用同一种方式,否则框、关键点和分类的输入分布都会偏。
小数据集怎么切、怎么停
三百张图,建议按类别分层切分,训练、验证、测试大致七比一比二,或者八比二留一个固定测试集。如果同一件产品、同一个患者、同一段视频有多个视角,必须按组切,不能让同组样本跨两边。否则验证集里全是训练集见过的内容,指标会虚高。
早停要比「训到固定轮数」稳。监控验证集的主指标,比如宏平均 F1,而不是总体准确率,因为长尾类别在总体准确率里几乎没有权重。连续若干轮没有提升就停,并保留验证指标最好的那组权重。注意早停用的是验证集,最终报指标要用没参与过任何选择的测试集。
灾难性遗忘与过度微调
全参微调在小数据上最常见的问题是灾难性遗忘:模型为了拟合这三百张图,把预训练学到的通用特征覆盖掉。表现是训练集指标很快到很高,验证集先升后降,降下去就回不来。学习率越大、解冻层越多、训练越久,越容易发生。
缓解办法有几个:把主干学习率调小;先冻结训练几轮再解冻;只解冻最后一个阶段;加权重衰减;保留一部分通用数据一起训练。没有哪一种能完全避免,核心是控制模型离开预训练起点的速度。小数据上,慢一点通常比快一点好。
算一算:不同方案到底训练多少参数
下面用一个假设的网络结构做参数统计。主干是十层卷积,分类头是两层全连接,输入按 7 乘 7 的全局池化特征算。这个结构只用于演示比例,不是任何真实模型。程序分别计算冻结主干、解冻最后一个阶段、全参微调三种方案的可训练参数。
def conv(cin, cout, k):
return cin * cout * k * k + cout
def fc(cin, cout):
return cin * cout + cout
layers = [
("conv1_1", conv(3, 64, 3)),
("conv1_2", conv(64, 64, 3)),
("conv2_1", conv(64, 128, 3)),
("conv2_2", conv(128, 128, 3)),
("conv3_1", conv(128, 256, 3)),
("conv3_2", conv(256, 256, 3)),
("conv4_1", conv(256, 512, 3)),
("conv4_2", conv(512, 512, 3)),
("conv5_1", conv(512, 512, 3)),
("conv5_2", conv(512, 512, 3)),
("fc1", fc(512, 256)),
("fc2", fc(256, 4)),
]
total = sum(p for _, p in layers)
head = {n for n, _ in layers if n.startswith("fc")}
schemes = {
"A freeze all conv": head,
"B unfreeze conv5 + head": head | {"conv5_1", "conv5_2"},
"C train everything": {n for n, _ in layers},
}
for label, trainable_names in schemes.items():
trainable = sum(p for n, p in layers if n in trainable_names)
print(f"{label}: total={total:,d} trainable={trainable:,d} ratio={trainable / total * 100:.4f}%")
A freeze all conv: total=9,537,348 trainable=132,356 ratio=1.3878%
B unfreeze conv5 + head: total=9,537,348 trainable=4,851,972 ratio=50.8734%
C train everything: total=9,537,348 trainable=9,537,348 ratio=100.0000%
结果很直观:只训分类头,可训练参数只占百分之一点四;解冻最后一个阶段的卷积,比例直接跳到五成以上;全参就是百分之百。很多人以为「解冻最后一个阶段」只是小改,实际已经把一半参数放开了。数据量只有几百张时,这个比例值得先算一遍再决定。
这张表还解释了为什么冻结方案训练快、显存省:反向传播不需要穿过主干,梯度和优化器状态都少很多。但它也说明冻结方案的上限有限,特征完全不变,新任务只能在最后一段做线性组合。数据量增加、域差距变大时,逐步解冻是更合理的路径。
效果不对时,按这张表查
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 冻结后训练损失几乎不降 | 分类头学习率太小,或输入预处理不匹配 | 只训头时打印梯度范数,核对归一化与通道顺序 |
| 训练准确率很高,验证很低 | 小数据过拟合,或切分存在同组泄漏 | 看训练验证曲线,按组重新切分再看一次 |
| 冻结时正常,解冻后迅速变差 | 主干学习率过大,BatchNorm 被小 batch带偏 | 把主干学习率降一个数量级,冻结 BN 统计量 |
| 推理结果和训练时差很多 | 训练与推理的预处理不一致 | 同一张图在两边各跑一次,比对输入张量的均值方差 |
| 前几轮指标上升,随后断崖下跌 | 灾难性遗忘,模型离开预训练起点太远 | 降低学习率,减少解冻层数,加早停 |
| 长尾类别几乎不预测 | 类别不平衡,总体准确率掩盖了小类 | 看每类召回,改用宏平均指标与重采样 |
| 换相机或换批次后全错 | 模型学了设备相关捷径,不是任务特征 | 做跨设备验证,检查数据来源是否单一 |
| 改成更大输入尺寸后反而下降 | 预训练统计量与位置结构不匹配 | 先用默认尺寸复现基线,再单独比较尺寸 |
边界与代价
迁移学习不是万能的。源任务和目标任务差得太远时,预训练特征帮不上忙,甚至可能带来负面先验。医学、遥感、显微图像这些域差距大的场景,仍然需要足够的目标域数据,或者用目标域数据做中间预训练。拿自然图像权重硬套,效果不好时先怀疑域差距,而不是继续调学习率。
预训练权重本身也有成本。下载、存储、推理时的模型体积都会增加,边缘设备上不一定放得下。大主干在低端硬件上延迟高,这时更实际的选择是小一点的预训练模型,而不是追最大最深的那个。具体延迟和显存取决于硬件与实现,本文未在本机实测。
许可证和合规不能忽略。不同权重的使用条款不一样,商用、再分发、修改后的义务都可能有差别。上线前确认来源和许可,别把「研究可用」当成「商用可用」。
最后是维护成本。微调后的模型要记录预训练来源、冻结方案、学习率、数据版本和评估口径,半年后复现或继续训练时,缺一项都会很麻烦。
当天能验证的五个练习
- 把文中的层结构改成四层卷积加一层全连接,重新计算三种方案的可训练参数比例,和原来的结果比较。
- 在假设网络里加十个 BatchNorm 层,每层两个长度为通道数的向量,统计冻结方案下这部分参数占比。
- 拿一个现成的预训练分类模型,只改输入通道顺序为 BGR,在十张图上比较预测结果,确认预处理的影响。
- 用同一批三百张图做两次不同种子的分层切分,各训一个只训分类头的模型,记录验证指标的波动范围。
- 把主干学习率设为分类头的十分之一和相等两种情况,各跑固定轮数,比较验证曲线是否出现先升后降。
小结
小数据集从头训,问题不是模型不够大,而是参数太多、有效信号太少。预训练提供的是通用的低级与中层特征,越靠后的层越需要适配。冻结主干适合样本极少的情况,解冻最后阶段是折中,全参微调需要更多数据和更小的学习率。BatchNorm 的模式、输入归一化、切分方式和早停,任何一项没对齐,都会让好方案变成坏结果。
到这里,视觉方向的入门链条走完了一圈:分类给类别,检测给框,分割给像素,关键点给坐标,数据和增强决定模型看到的世界,迁移学习决定小数据上从哪里起步。下一步该做的不是继续堆概念,而是选一个真实的小数据集,把预处理、切分、基线、错误分析这套流程完整跑一遍。流程跑通一次,比看十篇综述更有用。