一个团队把优化器从 SGD 换成 Adam,学习率沿用原来的 0.01。结果 loss 前二十步几乎是一条直线,第三十步突然往下掉,然后又弹回来。有人建议把学习率调到 0.1,改完第一轮就变成 NaN。同一个人换到另一个任务上,把 Adam 换回 SGD,验证集反而好了两个点。

这些现象都不说明哪个优化器「更强」。优化器管的事很具体:拿到梯度之后,每一步走多远,要不要参考之前走过的方向,每个参数是不是走同样的距离。三个选择在不同的损失曲面上效果差别很大,而大部分「调不动」的问题,其实和优化器本身无关。

这篇先用一个能画出来的二次函数,把 SGD、动量和 Adam 放在同一条路上跑一遍,记录它们各自走到目标附近的步数;再讲三个优化器究竟改了哪一步;最后给一张按现象倒查的表。读完之后,你至少能分清「学习率不对」和「优化器不适合」这两种完全不同的情况。

一次更新只做一件事:沿梯度反方向挪一步

梯度是一个向量,它指向损失上升最快的方向。要降低损失,就往它的反方向走,走多远由学习率决定。这就是最基础的梯度下降,一次更新写成 w = w - lr * g,其中 w 是参数,g 是这一批数据算出来的梯度,lr 是学习率。

这个式子里,梯度只提供方向,学习率提供步长。方向错了,步子迈多大都没用;方向对了,步子太大也会跨过谷底,落到对面更高的位置。深度学习里绝大多数训练异常,最终都落在「方向」或「步长」这两件事上。

为了看清步长的影响,用一个简单的二次函数:f(w) = 0.5 * (w0^2 + 10 * w1^2)。它在第一个方向上的曲率是 1,第二个方向是 10,形状像一个狭长的山谷,谷底在原点。起点放在 (10, 1),这个点离谷底不算远,但两个方向的坡度差了十倍。

普通 SGD 在这条山谷上会很难受。第二个方向坡度陡,学习率稍大就会在谷壁两侧来回跳;第一个方向坡度缓,同样的学习率又走得太慢。学习率是全局一个值,它没法同时照顾两个方向。这就是「条件数」带来的问题,也是动量和自适应方法的出发点。

学习率不是「越大越快」。在陡方向上,一步跨过谷底就会到对面更高的坡上,损失反而变大。表现出来就是 loss 上下震荡、迟迟不降。判断办法很简单:把学习率缩小十倍再看,如果曲线变平滑,问题就在步长。

顺带说清楚一个容易混的点:梯度下降里的「批」指的是每次用多少条样本算梯度。整批算出来的梯度最准,但一步很慢;单条样本最快,但方向噪声大。小批量是折中,也是实际训练里最常用的形式。优化器处理的是「拿到梯度之后怎么走」,不负责「用多少条样本算梯度」,后者由 batch size 决定。

还有一个常被忽略的点:小批量算出来的梯度只是全量梯度的估计,带有噪声。噪声不总是坏事,它能让优化过程跳出一些尖锐的局部坑,也可能让更新方向偏离。batch 越小,噪声越大,学习率通常也要相应调小,否则几步之内方向就会乱飘。这也是为什么换 batch size 之后,原来的学习率往往不再合适。

动量:把历史方向攒起来

动量(momentum)的思路是给优化器加一个「惯性」。每次不直接用当前梯度,而是维护一个累积量:m = beta * m + g,然后用 w = w - lr * m 更新。其中 beta 通常取 0.9,控制历史占多大比重。

它解决的问题很直观。在狭长山谷里来回震荡的那些分量,方向正负交替,累加起来会互相抵消;而沿着谷底方向的稳定分量,每次都同号,会越攒越大。于是震荡被压住,前进方向被放大,收敛更快。

但要注意,这个写法里 m 累积的是梯度的和,不是平均。当 beta = 0.9 时,稳态下 m 约等于当前梯度的十倍,相当于把学习率悄悄放大了十倍。所以从 SGD 换成动量时,学习率通常要相应调小,否则会直接冲过头。很多人第一次用动量就发散,原因就在这里。

普通 SGD只看当前这一步的梯度,方向噪声大,陡坡上容易左右横跳。
动量把历史梯度加权累加,稳定方向被放大,震荡方向被抵消,代价是可能冲过谷底。
Adam在动量之外再维护一个梯度平方的累积,用它给每个参数单独缩放步长。

动量还有一个副作用:它让优化器对梯度的短期噪声不敏感,但也会让它在损失曲面突然改变时反应变慢。如果你发现模型在训练中期该转向却没转,或者 loss 冲过低点又反弹回来,先怀疑动量系数太大。

判断动量是否过大,有个简单办法:观察 loss 曲线的最低点。如果它先冲到一个很低的值,再反弹到明显更高的位置停住,基本就是冲过头了。

另外有个叫 Nesterov 动量的变体,思路是先按动量方向往前探一步,再在那个位置算梯度。它比标准动量更早「刹车」,在目标附近不容易冲过头。实现上区别只有一行,但很多框架默认不开启,需要显式指定。

Adam:让每个参数自己定步长

Adam 是 Adaptive Moment Estimation 的缩写,直译是「自适应矩估计」。它在动量之外多维护一份「梯度平方的累积」,记作 v。更新时用一阶累积除以二阶累积的平方根,相当于给每个参数单独算一个缩放系数。

为什么这样做有用?如果某个参数的梯度一直很大,它的 v 就大,除以平方根后步长被压小;如果梯度一直很小,步长被放大。结果是每个参数的有效步长都接近学习率本身,不再受梯度量级影响。这对稀疏特征特别有意义,比如词表中很少出现的词,普通 SGD 几乎推不动,Adam 能给它足够的步长。

Adam 还有一步叫偏差修正。因为 m 和 v 都从零开始累积,前几步会明显偏小,直接除会导致步长虚高。修正的办法是分别除以 1 - beta1^t 和 1 - beta2^t,t 是第几步。不做修正的话,训练最初几步会像踩空一样猛冲。

代价也很明确。Adam 要为每个参数存两份状态,参数量翻倍的部分就是显存开销;它对学习率不那么敏感,但仍然有最优区间,不能随便填;在一些图像分类任务上,调好的 SGD 加动量泛化会略好,Adam 收敛快但验证集未必更高。所谓「Adam 默认就能用」,只是说它不容易一开始就崩,不代表它总是最优。

还有一个坑是权重衰减。Adam 早期版本把 L2 正则直接加进梯度,结果被自适应缩放一起处理,衰减效果被削弱。后来拆出来的 AdamW 把权重衰减单独作用在参数上,行为才符合预期。如果用的是带 weight decay 的 Adam,先确认框架里到底是哪一种实现。

Adam 的默认超参通常取 beta1 为 0.9、beta2 为 0.999、eps 为 1e-8,这三个值几乎不用改,真正需要调的是学习率。eps 的作用是防止分母为零:取值太小,在低精度训练时可能不够用;取值太大,又会削弱自适应效果。混合精度训练里,eps 有时要放大到 1e-6 甚至更大,否则更新会被数值误差吞掉。

本机实测:三个优化器跑同一条山谷

下面这段只用了标准库 math,把三个优化器放在同一个二次函数、同一个起点上,记录第 10、50、100、300 步的损失,以及第一次进入 1e-4 以内的步数。

import math

def f(w):
    return 0.5 * (w[0] ** 2 + 10 * w[1] ** 2)

def grad(w):
    return [w[0], 10 * w[1]]

def run(kind, lr, steps=1000, target=1e-4):
    w = [10.0, 1.0]
    m = [0.0, 0.0]
    v = [0.0, 0.0]
    marks = {}
    for t in range(1, steps + 1):
        g = grad(w)
        if kind == "sgd":
            w = [w[i] - lr * g[i] for i in range(2)]
        elif kind == "momentum":
            m = [0.9 * m[i] + g[i] for i in range(2)]
            w = [w[i] - lr * m[i] for i in range(2)]
        else:
            m = [0.9 * m[i] + 0.1 * g[i] for i in range(2)]
            v = [0.999 * v[i] + 0.001 * g[i] ** 2 for i in range(2)]
            mh = [m[i] / (1 - 0.9 ** t) for i in range(2)]
            vh = [v[i] / (1 - 0.999 ** t) for i in range(2)]
            w = [w[i] - lr * mh[i] / (math.sqrt(vh[i]) + 1e-8) for i in range(2)]
        if t in (10, 50, 100, 300):
            marks[t] = round(f(w), 4)
        if f(w) < target and "hit" not in marks:
            marks["hit"] = t
    return marks, w

for kind, lr in [("sgd", 0.02), ("momentum", 0.02), ("adam", 0.1)]:
    marks, w = run(kind, lr)
    print(kind, "lr", lr, marks, "final w", [round(x, 4) for x in w])

本机实际输出:

sgd lr 0.02 {10: 33.438, 50: 6.631, 100: 0.8794, 300: 0.0003, 'hit': 325} final w [0.0, 0.0]
momentum lr 0.02 {10: 4.7162, 50: 0.278, 100: 0.0009, 'hit': 105, 300: 0.0} final w [-0.0, -0.0]
adam lr 0.1 {10: 40.5605, 50: 14.409, 100: 2.5188, 'hit': 261, 300: 0.0} final w [-0.0, -0.0]

结果有点反直觉。动量最快,105 步到达;SGD 325 步;Adam 用了 261 步,而且在第 10 步时损失是最高的 40.56,比 SGD 还差。如果只看这张表就得出「Adam 不如动量」,同样是想当然,因为两组学习率不是同一个量级,函数形状也不代表真实网络。

解释一下原因。这个函数在两个方向上的曲率差了十倍,正是动量最擅长处理的形状:震荡被抵消,稳定方向被放大。Adam 的每参数步长近似等于学习率,在这个简单场景里,它没有额外信息可以压缩,反而因为陡方向步长接近稳定边界,前几十步一直在震荡。它的优势要在梯度尺度差异大、梯度稀疏的时候才明显。

还有一层:Adam 用的学习率 0.1,动量和 SGD 用的是 0.02。这个对比不是为了排出高下,而是说明三者的学习率含义不同。直接把别人的 lr=1e-3 搬过来,换一个优化器就可能完全不工作。

再补一句量级:动量累积到稳态时约等于梯度的 1/(1-0.9) 倍,也就是十倍。所以动量 0.02 的有效步长接近 SGD 的 0.2,在这个函数上恰好落在稳定范围里,才跑得这么快。这不是「动量天生快十倍」,而是它的学习率口径不同。做对比实验时,先把各自的步长校准到同一个有效量级,结论才靠得住。

调不动时,按现象倒查

训练异常的表现通常很有限,无非是不动、震荡、发散、后期卡住。下面这张表按现象给方向,重点是第三步「先查什么」,避免一上来就乱改超参。

现象真实原因第一步查什么
第一步 loss 就是 NaN 或无穷学习率过大、梯度爆炸,或输入里有非法值把学习率降十倍跑一次,同时打印梯度范数和输入的最大值
loss 几乎一条直线学习率太小,或参数根本没进计算图检查参数是否在优化器的参数列表里,以及是否带梯度
loss 上下震荡不降学习率偏大,或 batch 太小导致梯度噪声大学习率减半,或把 batch 加倍,再看曲线是否变平滑
前期降得快,后期卡住固定学习率走到平台,或需要衰减策略看梯度范数是否接近零,考虑加衰减或 warmup
换优化器后结果差很多默认超参不适合当前任务的梯度尺度先用小学习率扫几个值,不要照搬别人的配置
Adam 收敛快但验证集更差自适应步长带来的泛化差异,或正则没生效对比训练和验证曲线,检查 weight decay 是否被削弱
部分参数长期不更新梯度恒为零,比如 ReLU 死亡或被冻结打印每层梯度范数,定位到具体层再查激活值分布
loss 突然冲低又反弹动量系数过大,冲过了谷底把动量系数从 0.9 降到 0.5 对比,观察是否还反弹

这张表里大部分行都和优化器无关。前四行是学习率和数据的问题,最后两行才需要动优化器配置。真正「该换优化器」的场景不多,通常是梯度尺度差异极大、稀疏特征多、或者训练很不稳定。其余情况先修数据和步长,收益更直接。

表的顺序也有讲究:先排除数据和梯度的问题,再动超参,最后才换优化器。顺序反过来,很容易在一个本身就有 bug 的训练流程上反复试配置,最后得出「这个优化器不行」的错误结论。

边界与代价

优化器不能弥补错误的梯度。如果反向传播写错、标签错位、数据泄漏,换什么优化器都只是把错误走得更快。它也不能改变损失曲面的基本形状,只能决定在这个形状上怎么走。

显存方面,SGD 基本不额外存状态;动量每个参数多存一份;Adam 多存两份,即一阶和二阶累积。参数量为 N 时,Adam 额外需要约 2N 个浮点数。具体占用还和精度、是否混合精度、是否分片有关,这里没有在本机实测,实际值要在自己的训练脚本里看。

计算方面,Adam 每步多了几次逐元素运算和一次开方,单步比 SGD 慢一些。但在真实训练里,瓶颈通常是前向反向的矩阵运算和数据加载,优化器本身的开销往往不是主要项。只有在参数量极大、优化器状态需要跨卡同步时,它的开销才明显。

泛化方面,收敛快不等于最终效果好。自适应方法在训练早期下降更快,但一些任务上最终验证指标不如调好的 SGD。这不是绝对规律,而是提醒:选优化器要看验证集,不是看训练 loss 降得多快。

工程上还有一点:优化器状态要跟着模型一起保存和加载。断点续训时如果只存了参数没存优化器状态,恢复后动量会从零开始,前几十步会有一个明显的抖动。这类问题不常见,但一旦遇到很难从 loss 曲线看出来。

最后是复现性。优化器内部有累积状态,同一份数据、同一个随机种子,只要中途改过 batch 顺序或恢复过断点,结果就可能不同。报告实验时把优化器名称、学习率、beta、eps、weight decay 全部写清楚,别人才复现得出来。

当天能自验的五个练习

  1. 把实测函数改成各向同性的 0.5 * (w0^2 + w1^2),重跑三个优化器,记录 hit 步数,解释排序为什么变了。
  2. 把 Adam 的学习率改成 0.02 和 0.5,各跑一次,记录 hit 步数和是否发散,说明 0.5 为什么可能失败。
  3. 把动量系数从 0.9 改成 0.5 和 0.99,观察 hit 步数,判断系数变大是变快还是变得容易冲过头。
  4. 在循环里加一行打印梯度范数,观察 Adam 前 10 步的 loss 为什么比 SGD 高,把原因写下来。
  5. 去掉 Adam 的偏差修正,只跑前 20 步,对比有修正和没修正的 loss,确认最初几步的差异。

小结

SGD 只用当前梯度,学习率决定步长;动量把历史梯度累加,压住震荡、放大稳定方向,代价是可能冲过头;Adam 再维护梯度平方的累积,给每个参数单独缩放步长,代价是多一份状态和可能的泛化差异。三者的学习率含义不同,不能直接互换数值。

优化器只决定怎么走,不决定每一步的信息从哪来。真正影响训练是否稳定的,还有参数初始化、归一化、dropout、学习率调度和 batch 大小,这些会互相牵制。下一篇把它们放在一起讲,重点说清每个手段单独调时看起来有效、组合起来却互相抵消的情况。

如果只记一句话:先把学习率调对,再考虑换优化器。学习率是步长,优化器是走法,步长错的时候换走法,只会让错误以另一种方式出现。