训练脚本跑了一整晚,第二天打开日志,loss 停在 49.0,从头到尾一条水平线。换了个学习率重跑,loss 开始下降,但降了几百步就卡住。再换一个,前几步还正常,第十步突然变成 NaN,之后全是 NaN。
这三种情况的处理方式完全不同,但很多人的第一反应都一样:删掉重来,或者把所有超参挨个改一遍。一晚上过去,唯一确定的事情是又多跑了几次。
这篇给一套有顺序的排查方法。先分清「不收敛」到底是哪一种,再按 loss 曲线、梯度、数据、超参四条线依次检查。每条线都有一个本机能跑的对照实验,你可以拿自己的数字直接对比。
先分清四种「不收敛」
不收敛不是一个状态,而是四类现象的统称。分不清类型,后面的排查就没有方向。
四类现象对应的原因不一样。不降通常要查梯度通路和数据;降得慢多半是学习率、优化器或模型容量;震荡是学习率和 batch 的匹配问题;发散基本锁定在数值溢出、学习率过大或初始化尺度。
还有第五种容易被忽略的情况:训练 loss 正常下降,但验证 loss 从某一轮开始上升。这不是不收敛,而是过拟合,处理方式完全不同,不要混在一起查。
判断「有没有在学」有个粗略标准:前一百步里,loss 至少应该有可见的下降,哪怕只有千分之几。如果一百步完全不动,继续跑一整晚大概率还是不动,不如先停下来查。
分清类型之后,原则只有一条:一次只改一个变量。同时改学习率、batch 和初始化,即使结果变好了,你也不知道是哪一项起了作用,下次遇到同类问题还是不会查。
第一条线:loss 曲线本身
loss 曲线是最便宜的信息,但很多人只看最后一个数。真正有用的是三个位置:前十个 step、中段、以及曲线有没有周期性。下面用一个一维二次函数 (w-3)^2 做学习率扫描,起点固定在 10,记录第 1、3、10、20、40 步的 loss。
def run(lr, steps=40):
w = 10.0
marks = {}
for t in range(1, steps + 1):
g = 2 * (w - 3)
w = w - lr * g
if t in (1, 3, 10, 20, 40):
marks[t] = round((w - 3) ** 2, 6)
if abs(w) > 1e12:
marks["nan"] = t
break
return marks, round(w, 4)
for lr in (0.001, 0.1, 1.0, 2.2):
marks, w = run(lr)
print("lr", lr, "loss", marks, "final w", w)
本机实际输出:
lr 0.001 loss {1: 48.804196, 3: 48.414932, 10: 47.076797, 20: 45.229078, 40: 41.748356} final w 9.4613
lr 0.1 loss {1: 31.36, 3: 12.845056, 10: 0.564932, 20: 0.006513, 40: 1e-06} final w 3.0009
lr 1.0 loss {1: 49.0, 3: 49.0, 10: 49.0, 20: 49.0, 40: 49.0} final w 10.0
lr 2.2 loss {1: 566.44, 3: 75695.416384, 10: 2088211200613.8774, 20: 8.89923677218215e+22, 'nan': 21} final w -1014274011723.7408
四个学习率对应四种典型形态。0.001 在下降,但 40 步只从 48.8 降到 41.7,属于「降得慢」;0.1 从 31.36 一路降到 1e-06,是正常收敛;1.0 的 loss 从头到尾都是 49.0,参数在 10 和负 4 之间来回跳,属于「不降」;2.2 第一步就涨到 566,第 21 步溢出,属于「发散」。
1.0 那一组特别有迷惑性。它既不下降也不爆炸,曲线完全水平,看起来像「模型没学到东西」。真实原因是步长恰好等于两倍到谷底的距离,每次更新都跨到对称的另一侧,两点之间来回震荡,loss 保持不变。这种时候调模型结构没有任何用,只要把学习率减半。
判断是不是震荡,可以看相邻两次更新的参数。如果它们反复回到接近的位置,就是步长过大;如果一路单向移动但 loss 不降,问题在梯度方向或数据。
看曲线还要注意采样频率。每个 step 都记录,能看出周期性震荡;只记每个 epoch 的平均值,震荡会被平均掉,看起来反而平滑。排查阶段先把粒度调细,确认没问题后再降采样。
如果曲线在前几十步正常、之后突然抬升,重点查学习率调度和数据顺序。学习率没有衰减、或者某一批数据异常,都会造成这种「先好后坏」的形状。
记录 loss 时还要写清楚它是哪个数据集、哪个口径。训练 loss 和验证 loss 混在同一张图上,很容易把两条线的交叉误判成发散。图例和颜色也要固定,别每次重画换一种画法。
第二条线:梯度
loss 不降的另一个常见原因是梯度没有传到位。检查方法不是看单个梯度值,而是看每一层的梯度范数,以及有多少参数完全没有梯度。
ReLU 的「死亡」是最典型的一种。某个神经元的偏置被推到很负的位置后,对所有输入都输出零,梯度也恒为零,之后再也活不过来。下面统计偏置取不同值时,输出为零的比例。
def dead_fraction(bias, width=64, n=200):
W = [[random.gauss(0, 1) for _ in range(width)] for _ in range(width)]
zeros = 0
for _ in range(n):
x = [random.gauss(0, 1) for _ in range(width)]
for i in range(width):
z = sum(W[i][j] * x[j] for j in range(width)) / math.sqrt(width) + bias
if z <= 0:
zeros += 1
return round(zeros / (n * width), 3)
for b in (0.0, -1.0, -3.0):
print("偏置", b, "ReLU 输出为零的比例", dead_fraction(b))
本机实际输出:
偏置 0.0 ReLU 输出为零的比例 0.501
偏置 -1.0 ReLU 输出为零的比例 0.838
偏置 -3.0 ReLU 输出为零的比例 0.998
偏置为零时约一半输出被截断,这本来正常;偏置到负一,八成以上变成零;到负三,几乎全死。偏置怎么会变得这么负?常见路径是学习率过大,一次更新把偏置推过头,之后这些单元再也不贡献梯度,能用的容量越来越少,loss 就卡住了。
死亡比例不是越低越好。ReLU 本来就会让一部分输出为零,完全不死反而说明网络没用到稀疏性。关键看它是否在训练中持续上升:从三成涨到九成,就是容量在流失。
除了死亡,还要看梯度爆炸。判断办法是打印梯度范数:正常训练中它应该在同一个量级附近波动,如果每次都在指数级上涨,说明反向传播在某处放大了误差。常见来源是初始化过大、没有归一化、或者某个除法的分母接近零。
逐层看梯度比看全局更有用。如果只有最后一层梯度正常、前面全是零,问题在反向通路上,比如某一层用了不可导的操作,或者 detach 写错了位置。如果只有第一层爆炸,问题往往在输入数据的尺度。
还有一个更细的检查:看梯度的符号分布。如果某一层一半以上的梯度方向在同一批数据里反复翻转,说明这一层在震荡,通常是学习率或归一化的问题,不是数据。
第三条线:数据
模型和超参都没问题时,答案经常在数据里。最有效的检查不是看代码,而是算几个统计量:训练集和验证集的均值、标签比例、缺失值数量、重复样本比例。
下面构造一组训练集和验证集,故意让它们的均值不同,看统计量能不能直接暴露问题。
train = [random.gauss(30, 5) for _ in range(200)]
val = [random.gauss(34, 5) for _ in range(50)]
mt = sum(train) / len(train)
mv = sum(val) / len(val)
print("训练均值", round(mt, 2), "验证均值", round(mv, 2), "差", round(mv - mt, 2))
print("训练标签正例比例", round(sum(1 for v in train if v > 32) / len(train), 3))
print("验证标签正例比例", round(sum(1 for v in val if v > 32) / len(val), 3))
本机实际输出:
训练均值 29.73 验证均值 34.39 差 4.66
训练标签正例比例 0.32
验证标签正例比例 0.72
训练集均值 29.73,验证集 34.39,差了 4.66;正例比例一个 0.32、一个 0.72。如果这是真实项目的数据,模型在训练集上学到的阈值,到验证集上会系统性偏低,表现就是「训练正常、验证很差」。这不是模型不会学,而是两边分布不一样。
数据检查有几项是必做的。标签是否和任务一致,有没有把 ID 或结果字段混进特征;缺失值怎么填的,填的值是否只在训练集上统计;重复样本有没有跨训练和验证;类别比例是否在两边接近。每一项都能单独造成「不收敛」或「指标虚高」。
统计量要在切分之后算,而不是在全量上算。全量均值看不出训练和验证的差异,只有分开算才能发现偏移。这也是为什么切分要放在所有预处理之前。
还有一个成本很低但极有效的测试:拿二十条样本,关掉正则,让模型过拟合。如果连二十条都学不会,问题一定在数据或代码,不在超参。这个测试能把排查范围一下子缩小一半。
过拟合测试要关掉数据增强和正则,否则模型仍然学不满。学习率用正常值,别用扫描出来的极端值。目标是验证「能不能记住」,不是验证「泛化好不好」。
第四条线:超参
前三条线都排除之后,才轮到超参。超参里优先级最高的是学习率,其次是 batch 大小,然后是初始化和正则强度。
学习率不要凭感觉调,要扫。做法是取几个跨数量级的值,比如 1e-4、1e-3、1e-2、1e-1,各跑几十步,只看前二十步的 loss。能下降且不震荡的那个区间,才是可用的起点。上面的实验里,0.001 太慢、1.0 震荡、2.2 发散,只有 0.1 在正常范围,这就是扫描的意义。
batch 大小影响梯度噪声,也影响学习率的选择。batch 变大,噪声变小,学习率可以相应放大;batch 变小则相反。两者要一起调,只改一个往往得到「换了 batch 就不收敛」的结论。
初始化的问题在训练技巧那篇已经讲过:全零会让单元保持对称,尺度过大会让第一步就溢出。排查时打印初始激活的标准差,比看 loss 更直接。
正则强度也值得看一眼。权重衰减太大,模型被压得学不动,loss 降不下去;dropout 太大,训练时信息被砍掉一半,收敛变慢。判断办法是先把正则全部关掉跑一次,看 loss 能不能降,再逐项加回来。
超参还有个顺序问题:先确定学习率的数量级,再调 batch,最后调正则。顺序反了,每次改正则都要重新找学习率,工作量翻倍。
排查顺序:从便宜到贵
四条线不是并列的,按下面的顺序走,能少跑很多次训练。
- 用二十条样本做一次过拟合测试。学不会就查数据和代码,不要碰超参。
- 看 loss 是 NaN、水平、震荡还是缓慢下降。先归类,再决定查哪条线。
- 打印每层梯度范数和零梯度比例。确认反向通路是通的。
- 算训练集和验证集的均值、标签比例、缺失和重复。确认数据没有泄漏或偏移。
- 扫学习率,再调 batch,最后才动初始化和正则。
这个顺序的逻辑是:前面的检查成本低、命中率高,后面的检查成本高、变量多。很多「调了一周没结果」的项目,第一步过拟合测试就失败了,后面的工作全是白费。
每一步都要留记录。把学习率、batch、loss 曲线、梯度范数写进同一份日志,下次遇到类似现象可以直接对照,而不是重新试一遍。
如果团队多人协作,日志格式要统一。至少包含步数、学习率、loss、梯度范数、验证指标五列,时间戳用同一个时区。排查时对比两份不同格式的日志,比重新训练还累。
按现象倒查
下面这张表把常见现象、真实原因和第一步动作对上,可以直接当排查清单用。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| loss 从头到尾一条水平线 | 学习率恰好造成两点震荡,或梯度没传到位 | 学习率减半重跑,同时打印首层梯度范数 |
| loss 缓慢下降但远低于预期 | 学习率太小,或模型容量不足 | 学习率放大十倍跑二十步,对比下降速度 |
| loss 周期性上下跳动 | 学习率偏大,或 batch 太小噪声大 | 学习率减半,或 batch 加倍,看震荡是否消失 |
| 几步之内 loss 变成 NaN | 学习率过大、初始化尺度过大或数值溢出 | 学习率降十倍,打印第一步的梯度范数 |
| 训练正常、验证很差 | 训练和验证分布不一致,或存在泄漏 | 对比两边均值、标签比例和切分方式 |
| 前几十步正常,之后卡住 | 学习率没有衰减,或大量 ReLU 死亡 | 统计零梯度参数比例,看学习率调度 |
| 只有最后一层在更新 | 反向通路断开,或前面层被冻结 | 逐层打印梯度范数,定位第一个为零的层 |
| 二十条样本都过拟合不了 | 标签错误、特征与标签错位或代码有 bug | 手工核对三条样本的输入和标签 |
表里第八行是最该优先做的一项。它能在一个很小的时间成本内,把「模型问题」和「数据代码问题」分开。分不开这两类,后面所有调参都是在碰运气。
边界与代价
这套方法针对的是「训练本身不收敛」,不解决「模型能力不够」。一个容量不足的模型可以把 loss 降得很低,但验证指标就是上不去,那是模型选型的问题,不是收敛问题。
排查本身有成本。过拟合测试、学习率扫描、逐层梯度打印,每一项都要跑训练。规模越大,成本越高。实际项目里通常先用小模型、小数据把流程跑通,再放大,而不是在完整规模上直接查。
打印梯度也有代价。频繁同步梯度会拖慢分布式训练,全量打印还可能占满日志。常见做法是每隔若干步采样一次,只记录范数和分位数,不记录每个参数的值。
最后,这些现象不是互斥的。一个训练可能同时存在学习率偏大和数据偏移,loss 曲线看起来既震荡又降不下去。这时候仍然要按顺序拆开,一次只验证一个假设,不要指望一次改完所有问题。
本机实验用的是极小的二次函数和几十维的随机数据,结论只说明现象的形状,不代表大规模训练的具体数值。真实模型的 loss 曲线会受数据顺序、硬件数值误差和分布式策略影响,需要以实际日志为准。
还有一点:不要把「训练 loss 不降」和「指标不涨」当成同一件事。有些任务 loss 降得很慢,但排序指标早就稳定了;也有些任务 loss 降得很快,指标却不动。先明确你要优化的是哪个数,再去判断它是否「收敛」。
当天能自验的五个练习
- 把学习率扫描的起点从 10 改成 100,重跑四个学习率,记录哪些值仍然发散,说明起点也影响稳定性。
- 把二次函数换成
(w-3)^4,重跑 0.1 和 1.0,观察收敛速度和震荡形态的变化。 - 把死亡 ReLU 实验的偏置改成 0.5,统计零输出比例,解释为什么它低于一半。
- 把数据检查的验证集样本数从 50 改成 5,重算均值差,观察小样本统计量的波动。
- 给自己手头的训练脚本加三行日志:首层梯度范数、零梯度参数比例、训练与验证均值,跑十步看是否正常。
小结
不收敛要先分类:不降、降得慢、震荡、发散,四类原因不同。排查按四条线走:loss 曲线看形状,梯度看通路,数据看分布和标签,超参看学习率与 batch。顺序从便宜到贵,第一步永远是用少量样本做过拟合测试。
到这篇为止,深度学习这条线从单个神经元走到了完整的 Transformer 块和训练排查。回过头看,所有技巧都在处理同一件事:让信号、梯度和数值在多层之间稳定地传下去。结构、优化器、初始化和数据,只是从不同角度回答同一个问题。
这份排查清单可以打印出来贴在显示器旁边。真正的问题往往不在最复杂的那个假设上,而在最基础的那条检查里。