一个团队把优化器从 SGD 换成 Adam,学习率沿用原来的 0.01。结果 loss 前二十步几乎是一条直线,第三十步突然往下掉,然后又弹回来。有人建议把学习率调到 0.1,改完第一轮就变成 NaN。同一个人换到另一个任务上,把 Adam 换回 SGD,验证集反而好了两个点。
这些现象都不说明哪个优化器「更强」。优化器管的事很具体:拿到梯度之后,每一步走多远,要不要参考之前走过的方向,每个参数是不是走同样的距离。三个选择在不同的损失曲面上效果差别很大,而大部分「调不动」的问题,其实和优化器本身无关。
这篇先用一个能画出来的二次函数,把 SGD、动量和 Adam 放在同一条路上跑一遍,记录它们各自走到目标附近的步数;再讲三个优化器究竟改了哪一步;最后给一张按现象倒查的表。读完之后,你至少能分清「学习率不对」和「优化器不适合」这两种完全不同的情况。
一次更新只做一件事:沿梯度反方向挪一步
梯度是一个向量,它指向损失上升最快的方向。要降低损失,就往它的反方向走,走多远由学习率决定。这就是最基础的梯度下降,一次更新写成 w = w - lr * g,其中 w 是参数,g 是这一批数据算出来的梯度,lr 是学习率。
这个式子里,梯度只提供方向,学习率提供步长。方向错了,步子迈多大都没用;方向对了,步子太大也会跨过谷底,落到对面更高的位置。深度学习里绝大多数训练异常,最终都落在「方向」或「步长」这两件事上。
为了看清步长的影响,用一个简单的二次函数:f(w) = 0.5 * (w0^2 + 10 * w1^2)。它在第一个方向上的曲率是 1,第二个方向是 10,形状像一个狭长的山谷,谷底在原点。起点放在 (10, 1),这个点离谷底不算远,但两个方向的坡度差了十倍。
普通 SGD 在这条山谷上会很难受。第二个方向坡度陡,学习率稍大就会在谷壁两侧来回跳;第一个方向坡度缓,同样的学习率又走得太慢。学习率是全局一个值,它没法同时照顾两个方向。这就是「条件数」带来的问题,也是动量和自适应方法的出发点。
顺带说清楚一个容易混的点:梯度下降里的「批」指的是每次用多少条样本算梯度。整批算出来的梯度最准,但一步很慢;单条样本最快,但方向噪声大。小批量是折中,也是实际训练里最常用的形式。优化器处理的是「拿到梯度之后怎么走」,不负责「用多少条样本算梯度」,后者由 batch size 决定。
还有一个常被忽略的点:小批量算出来的梯度只是全量梯度的估计,带有噪声。噪声不总是坏事,它能让优化过程跳出一些尖锐的局部坑,也可能让更新方向偏离。batch 越小,噪声越大,学习率通常也要相应调小,否则几步之内方向就会乱飘。这也是为什么换 batch size 之后,原来的学习率往往不再合适。
动量:把历史方向攒起来
动量(momentum)的思路是给优化器加一个「惯性」。每次不直接用当前梯度,而是维护一个累积量:m = beta * m + g,然后用 w = w - lr * m 更新。其中 beta 通常取 0.9,控制历史占多大比重。
它解决的问题很直观。在狭长山谷里来回震荡的那些分量,方向正负交替,累加起来会互相抵消;而沿着谷底方向的稳定分量,每次都同号,会越攒越大。于是震荡被压住,前进方向被放大,收敛更快。
但要注意,这个写法里 m 累积的是梯度的和,不是平均。当 beta = 0.9 时,稳态下 m 约等于当前梯度的十倍,相当于把学习率悄悄放大了十倍。所以从 SGD 换成动量时,学习率通常要相应调小,否则会直接冲过头。很多人第一次用动量就发散,原因就在这里。
动量还有一个副作用:它让优化器对梯度的短期噪声不敏感,但也会让它在损失曲面突然改变时反应变慢。如果你发现模型在训练中期该转向却没转,或者 loss 冲过低点又反弹回来,先怀疑动量系数太大。
判断动量是否过大,有个简单办法:观察 loss 曲线的最低点。如果它先冲到一个很低的值,再反弹到明显更高的位置停住,基本就是冲过头了。
另外有个叫 Nesterov 动量的变体,思路是先按动量方向往前探一步,再在那个位置算梯度。它比标准动量更早「刹车」,在目标附近不容易冲过头。实现上区别只有一行,但很多框架默认不开启,需要显式指定。
Adam:让每个参数自己定步长
Adam 是 Adaptive Moment Estimation 的缩写,直译是「自适应矩估计」。它在动量之外多维护一份「梯度平方的累积」,记作 v。更新时用一阶累积除以二阶累积的平方根,相当于给每个参数单独算一个缩放系数。
为什么这样做有用?如果某个参数的梯度一直很大,它的 v 就大,除以平方根后步长被压小;如果梯度一直很小,步长被放大。结果是每个参数的有效步长都接近学习率本身,不再受梯度量级影响。这对稀疏特征特别有意义,比如词表中很少出现的词,普通 SGD 几乎推不动,Adam 能给它足够的步长。
Adam 还有一步叫偏差修正。因为 m 和 v 都从零开始累积,前几步会明显偏小,直接除会导致步长虚高。修正的办法是分别除以 1 - beta1^t 和 1 - beta2^t,t 是第几步。不做修正的话,训练最初几步会像踩空一样猛冲。
代价也很明确。Adam 要为每个参数存两份状态,参数量翻倍的部分就是显存开销;它对学习率不那么敏感,但仍然有最优区间,不能随便填;在一些图像分类任务上,调好的 SGD 加动量泛化会略好,Adam 收敛快但验证集未必更高。所谓「Adam 默认就能用」,只是说它不容易一开始就崩,不代表它总是最优。
还有一个坑是权重衰减。Adam 早期版本把 L2 正则直接加进梯度,结果被自适应缩放一起处理,衰减效果被削弱。后来拆出来的 AdamW 把权重衰减单独作用在参数上,行为才符合预期。如果用的是带 weight decay 的 Adam,先确认框架里到底是哪一种实现。
Adam 的默认超参通常取 beta1 为 0.9、beta2 为 0.999、eps 为 1e-8,这三个值几乎不用改,真正需要调的是学习率。eps 的作用是防止分母为零:取值太小,在低精度训练时可能不够用;取值太大,又会削弱自适应效果。混合精度训练里,eps 有时要放大到 1e-6 甚至更大,否则更新会被数值误差吞掉。
本机实测:三个优化器跑同一条山谷
下面这段只用了标准库 math,把三个优化器放在同一个二次函数、同一个起点上,记录第 10、50、100、300 步的损失,以及第一次进入 1e-4 以内的步数。
import math
def f(w):
return 0.5 * (w[0] ** 2 + 10 * w[1] ** 2)
def grad(w):
return [w[0], 10 * w[1]]
def run(kind, lr, steps=1000, target=1e-4):
w = [10.0, 1.0]
m = [0.0, 0.0]
v = [0.0, 0.0]
marks = {}
for t in range(1, steps + 1):
g = grad(w)
if kind == "sgd":
w = [w[i] - lr * g[i] for i in range(2)]
elif kind == "momentum":
m = [0.9 * m[i] + g[i] for i in range(2)]
w = [w[i] - lr * m[i] for i in range(2)]
else:
m = [0.9 * m[i] + 0.1 * g[i] for i in range(2)]
v = [0.999 * v[i] + 0.001 * g[i] ** 2 for i in range(2)]
mh = [m[i] / (1 - 0.9 ** t) for i in range(2)]
vh = [v[i] / (1 - 0.999 ** t) for i in range(2)]
w = [w[i] - lr * mh[i] / (math.sqrt(vh[i]) + 1e-8) for i in range(2)]
if t in (10, 50, 100, 300):
marks[t] = round(f(w), 4)
if f(w) < target and "hit" not in marks:
marks["hit"] = t
return marks, w
for kind, lr in [("sgd", 0.02), ("momentum", 0.02), ("adam", 0.1)]:
marks, w = run(kind, lr)
print(kind, "lr", lr, marks, "final w", [round(x, 4) for x in w])
本机实际输出:
sgd lr 0.02 {10: 33.438, 50: 6.631, 100: 0.8794, 300: 0.0003, 'hit': 325} final w [0.0, 0.0]
momentum lr 0.02 {10: 4.7162, 50: 0.278, 100: 0.0009, 'hit': 105, 300: 0.0} final w [-0.0, -0.0]
adam lr 0.1 {10: 40.5605, 50: 14.409, 100: 2.5188, 'hit': 261, 300: 0.0} final w [-0.0, -0.0]
结果有点反直觉。动量最快,105 步到达;SGD 325 步;Adam 用了 261 步,而且在第 10 步时损失是最高的 40.56,比 SGD 还差。如果只看这张表就得出「Adam 不如动量」,同样是想当然,因为两组学习率不是同一个量级,函数形状也不代表真实网络。
解释一下原因。这个函数在两个方向上的曲率差了十倍,正是动量最擅长处理的形状:震荡被抵消,稳定方向被放大。Adam 的每参数步长近似等于学习率,在这个简单场景里,它没有额外信息可以压缩,反而因为陡方向步长接近稳定边界,前几十步一直在震荡。它的优势要在梯度尺度差异大、梯度稀疏的时候才明显。
还有一层:Adam 用的学习率 0.1,动量和 SGD 用的是 0.02。这个对比不是为了排出高下,而是说明三者的学习率含义不同。直接把别人的 lr=1e-3 搬过来,换一个优化器就可能完全不工作。
再补一句量级:动量累积到稳态时约等于梯度的 1/(1-0.9) 倍,也就是十倍。所以动量 0.02 的有效步长接近 SGD 的 0.2,在这个函数上恰好落在稳定范围里,才跑得这么快。这不是「动量天生快十倍」,而是它的学习率口径不同。做对比实验时,先把各自的步长校准到同一个有效量级,结论才靠得住。
调不动时,按现象倒查
训练异常的表现通常很有限,无非是不动、震荡、发散、后期卡住。下面这张表按现象给方向,重点是第三步「先查什么」,避免一上来就乱改超参。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 第一步 loss 就是 NaN 或无穷 | 学习率过大、梯度爆炸,或输入里有非法值 | 把学习率降十倍跑一次,同时打印梯度范数和输入的最大值 |
| loss 几乎一条直线 | 学习率太小,或参数根本没进计算图 | 检查参数是否在优化器的参数列表里,以及是否带梯度 |
| loss 上下震荡不降 | 学习率偏大,或 batch 太小导致梯度噪声大 | 学习率减半,或把 batch 加倍,再看曲线是否变平滑 |
| 前期降得快,后期卡住 | 固定学习率走到平台,或需要衰减策略 | 看梯度范数是否接近零,考虑加衰减或 warmup |
| 换优化器后结果差很多 | 默认超参不适合当前任务的梯度尺度 | 先用小学习率扫几个值,不要照搬别人的配置 |
| Adam 收敛快但验证集更差 | 自适应步长带来的泛化差异,或正则没生效 | 对比训练和验证曲线,检查 weight decay 是否被削弱 |
| 部分参数长期不更新 | 梯度恒为零,比如 ReLU 死亡或被冻结 | 打印每层梯度范数,定位到具体层再查激活值分布 |
| loss 突然冲低又反弹 | 动量系数过大,冲过了谷底 | 把动量系数从 0.9 降到 0.5 对比,观察是否还反弹 |
这张表里大部分行都和优化器无关。前四行是学习率和数据的问题,最后两行才需要动优化器配置。真正「该换优化器」的场景不多,通常是梯度尺度差异极大、稀疏特征多、或者训练很不稳定。其余情况先修数据和步长,收益更直接。
表的顺序也有讲究:先排除数据和梯度的问题,再动超参,最后才换优化器。顺序反过来,很容易在一个本身就有 bug 的训练流程上反复试配置,最后得出「这个优化器不行」的错误结论。
边界与代价
优化器不能弥补错误的梯度。如果反向传播写错、标签错位、数据泄漏,换什么优化器都只是把错误走得更快。它也不能改变损失曲面的基本形状,只能决定在这个形状上怎么走。
显存方面,SGD 基本不额外存状态;动量每个参数多存一份;Adam 多存两份,即一阶和二阶累积。参数量为 N 时,Adam 额外需要约 2N 个浮点数。具体占用还和精度、是否混合精度、是否分片有关,这里没有在本机实测,实际值要在自己的训练脚本里看。
计算方面,Adam 每步多了几次逐元素运算和一次开方,单步比 SGD 慢一些。但在真实训练里,瓶颈通常是前向反向的矩阵运算和数据加载,优化器本身的开销往往不是主要项。只有在参数量极大、优化器状态需要跨卡同步时,它的开销才明显。
泛化方面,收敛快不等于最终效果好。自适应方法在训练早期下降更快,但一些任务上最终验证指标不如调好的 SGD。这不是绝对规律,而是提醒:选优化器要看验证集,不是看训练 loss 降得多快。
工程上还有一点:优化器状态要跟着模型一起保存和加载。断点续训时如果只存了参数没存优化器状态,恢复后动量会从零开始,前几十步会有一个明显的抖动。这类问题不常见,但一旦遇到很难从 loss 曲线看出来。
最后是复现性。优化器内部有累积状态,同一份数据、同一个随机种子,只要中途改过 batch 顺序或恢复过断点,结果就可能不同。报告实验时把优化器名称、学习率、beta、eps、weight decay 全部写清楚,别人才复现得出来。
当天能自验的五个练习
- 把实测函数改成各向同性的
0.5 * (w0^2 + w1^2),重跑三个优化器,记录 hit 步数,解释排序为什么变了。 - 把 Adam 的学习率改成 0.02 和 0.5,各跑一次,记录 hit 步数和是否发散,说明 0.5 为什么可能失败。
- 把动量系数从 0.9 改成 0.5 和 0.99,观察 hit 步数,判断系数变大是变快还是变得容易冲过头。
- 在循环里加一行打印梯度范数,观察 Adam 前 10 步的 loss 为什么比 SGD 高,把原因写下来。
- 去掉 Adam 的偏差修正,只跑前 20 步,对比有修正和没修正的 loss,确认最初几步的差异。
小结
SGD 只用当前梯度,学习率决定步长;动量把历史梯度累加,压住震荡、放大稳定方向,代价是可能冲过头;Adam 再维护梯度平方的累积,给每个参数单独缩放步长,代价是多一份状态和可能的泛化差异。三者的学习率含义不同,不能直接互换数值。
优化器只决定怎么走,不决定每一步的信息从哪来。真正影响训练是否稳定的,还有参数初始化、归一化、dropout、学习率调度和 batch 大小,这些会互相牵制。下一篇把它们放在一起讲,重点说清每个手段单独调时看起来有效、组合起来却互相抵消的情况。
如果只记一句话:先把学习率调对,再考虑换优化器。学习率是步长,优化器是走法,步长错的时候换走法,只会让错误以另一种方式出现。