有一次调模型,两个权重 w1 和 w2 耦合得很紧。只把 w1 调大一点,loss 有时降、有时升;从不同的 w2 状态出发,同样的改动结果也不一样。后来发现 w2 也在同一步被更新,单独看 w1 的偏导,根本预测不了联合更新的效果。

另一个场景是图像处理。用 Sobel 算子算出 gx 和 gy,按说梯度方向应该指向亮度增长的方向,可画在屏幕上总跟直觉差一截:有时和边缘方向差 90 度,有时干脆整体反过来。前者是因为梯度本来就垂直于边缘,后者是图像坐标的 y 轴朝下、数学坐标的 y 轴朝上,再加上卷积核和相关核的符号约定不同。

这两件事都指向同一个概念:多变量函数的变化率,要按方向拆开看。偏导只回答沿坐标轴怎么变,梯度把所有偏导排成一个向量,方向导数回答沿任意方向怎么变。把这三层关系理清,调参和图像处理里那些「方向不对」的怪现象就有了解释。

偏导:把其它变量当常数

偏导数(partial derivative)的定义很朴素:一个函数有好几个输入,只让其中一个动,其它全部按住不动,看输出怎么变。对 x 求偏导,就把 y 当成常数;对 y 求偏导,就把 x 当成常数。符号用 ∂,写成 ∂f/∂x,读作「f 对 x 的偏导」。

形式化的写法是让 h 趋于 0,取差商的极限:

∂f/∂x = lim  [f(x + h, y) - f(x, y)] / h        (h 趋于 0)

∂f/∂y = lim  [f(x, y + h) - f(x, y)] / h        (h 趋于 0)

拿 f(x, y) = x2y + 3y 手算一遍。对 x 求偏导时,y 是常数:x2y 对 x 的导数是 2xy,3y 这一项里没有 x,导数为 0,所以 ∂f/∂x = 2xy。对 y 求偏导时,x 是常数:x2y 对 y 的导数是 x2,3y 对 y 的导数是 3,所以 ∂f/∂y = x2 + 3。

在点 (2, 1.5) 处,两个偏导分别是 6 和 7。用中心差分核对一下:

def f(x, y):
    return x * x * y + 3 * y

def px(x, y, h=1e-5):
    return (f(x + h, y) - f(x - h, y)) / (2 * h)

def py(x, y, h=1e-5):
    return (f(x, y + h) - f(x, y - h)) / (2 * h)

x, y = 2.0, 1.5
print("analytic", 2 * x * y, x * x + 3)
print("numeric ", px(x, y), py(x, y))

输出是:

analytic 6.0 7.0
numeric  6.000000000039306 7.0000000000902665

解析值和数值值在小数点后十位左右才对得上,差在 10−10 量级。中心差分的误差是 O(h2),h = 10−5 时理论上限在 10−10 附近,这个结果正常。如果差得远,先检查是不是把不该当常数的项也一起求导了。

要强调一点:偏导是一个数,不是向量。它只告诉你沿某一条坐标轴方向的斜率。∂f/∂x = 6 的意思是,在 (2, 1.5) 附近把 x 增加一点点,f 大约增加 6 倍那么一点点;它完全不回答「x 和 y 同时动」会怎样。斜着走的变化率,需要方向导数,那是后面的事。

梯度:把偏导排成一个向量

把所有偏导按输入变量的顺序排成一个向量,就是梯度(gradient)。二元函数的梯度写成:

∇f(x, y) = ( ∂f/∂x , ∂f/∂y )

         [ ∂f/∂x ]
∇f(x,y) = [        ]
         [ ∂f/∂y ]

行向量和列向量只是排版习惯,含义一样。重点是:梯度的维度等于输入变量的个数,不是输出变量的个数。函数 f 把二维输入映射成一个输出,它的梯度仍然住在二维输入空间里,是一个二维向量。深度学习的参数有十亿个,梯度就有十亿个分量,每个分量对应一个参数。

在 (2, 1.5) 处,∇f = (6, 7)。它不是 6 也不是 7,更不是 13;它是一个既有大小又有方向的箭头。大小是 √(62 + 72) = √85 ≈ 9.2195,方向由两个分量决定。这个向量的长度告诉你「最陡的方向有多陡」,方向告诉你「往哪边走 f 增长最快」。

梯度是逐点定义的。换一个点,(6, 7) 就变了;在每一个可导的点上都有一个梯度,所有梯度组成一个向量场。优化时说的「当前梯度」,指的是当前参数点上的那个向量。它不是常量,也不是整个函数只有一个梯度。

记号上,∇ 读作 nabla,grad f 和 ∇f 是同一个东西。有的教材把梯度写成行向量,有的写成列向量,代码里通常就是一维数组或张量。比较时只关心分量顺序,不要被排版绕进去。

方向导数:沿任意方向走,变化率是多少

偏导只覆盖坐标轴方向,但实际更新往往是一个斜着的方向。设 u = (ux, uy) 是一个单位向量,表示要走的方向;从点 (x, y) 出发,沿这个方向走 t 步,到达 (x + t·ux, y + t·uy)。定义 g(t) = f(x + t·ux, y + t·uy),那么方向导数就是 g'(0),也就是刚出发时的变化率。

把 f 在起点做一阶展开:

f(x + t·ux, y + t·uy)
= f(x, y) + t·(fx·ux + fy·uy) + o(t)

g'(0) = ∇f · u = fx·ux + fy·uy

这里 fx 和 fy 是两个偏导。展开式的第一项是线性的,除以 t 再让 t 趋于 0,就剩下点积。所以「沿 u 的方向导数」等于「梯度和 u 的点积」。这个结论不是背出来的,是一阶展开直接推出来的。

接下来用柯西不等式(Cauchy–Schwarz)看它的最大值。对任意单位向量 u:

|∇f · u| ≤ ||∇f|| · ||u|| = ||∇f||

等号成立的条件是 u 和 ∇f 同向。也就是说,所有单位方向里,沿梯度方向走,f 增长最快,变化率正好是 ||∇f||;沿反方向走,f 下降最快,变化率是 −||∇f||。这就是「梯度方向最陡」的可验证理由,不是一句口号。只要内积是标准欧氏内积,柯西不等式就保证了这个上界,而且等号确实能取到。

用具体数字核对。在 (2, 1.5) 处梯度是 (6, 7),长度是 9.2195。取 u = (0.6, 0.8),它满足 0.62 + 0.82 = 1,方向导数是 6 × 0.6 + 7 × 0.8 = 9.2。如果取和梯度同向的单位向量,点积正好是 9.2195,比 9.2 略大:

import math
gx, gy = 6.0, 7.0
print("norm", math.hypot(gx, gy))
ux, uy = 0.6, 0.8
print("unit check", ux * ux + uy * uy)
print("directional", gx * ux + gy * uy)
ux2, uy2 = gx / math.hypot(gx, gy), gy / math.hypot(gx, gy)
print("aligned", gx * ux2 + gy * uy2)

输出:

norm 9.219544457292887
unit check 1.0
directional 9.2
aligned 9.219544457292887

两个细节容易错。第一,u 必须是单位向量;如果拿一个长度不是 1 的向量直接点积,得到的数会被它的长度缩放,不再是「每走一个单位距离变化多少」。第二,方向导数是局部量,只在当前点附近有效;走远了,梯度本身也变了,不能拿一个点的方向导数预测整条路径。

等高线与梯度垂直

等高线(level set)是让函数值保持不变的那些点。二元函数里,f(x, y) = c 通常是一条曲线;三元函数里是一个曲面。等高线图把不同 c 对应的曲线画在一起,每条线上的 f 都一样。

等高线、切线与梯度的关系
等高线沿这条线走,f 的值不变,变化率是 0。
切线方向等高线在该点的瞬时方向,记作 t。
梯度与切线垂直,指向 f 增长的那一侧。

理由很短。设 t 是等高线在点 p 处的单位切向量。沿 t 走一小步,点还在同一条等高线上,f 的值不变,所以沿 t 的方向导数为 0。方向导数等于 ∇f · t,于是 ∇f · t = 0。两个非零向量点积为 0,说明它们垂直。梯度因此垂直于等高线,并且指向 f 增大的方向;反过来说,−∇f 垂直于等高线,指向 f 减小的方向。

在 f(x, y) = x2 + y2 上验证。取点 (1, 1),f = 2,等高线是半径 √2 的圆。梯度是 (2, 2),切线方向取 (−1, 1)/√2,两者点积为 0。沿切线做中心差分,f 的变化也应该是 0:

def f(x, y):
    return x * x + y * y

g = (2.0, 2.0)
u = (-1 / 2 ** 0.5, 1 / 2 ** 0.5)
print("grad", g, "f", f(1, 1))
print("dot", g[0] * u[0] + g[1] * u[1])
h = 1e-4
print("tangent diff", (f(1 + h * u[0], 1 + h * u[1]) - f(1 - h * u[0], 1 - h * u[1])) / (2 * h))

输出:

grad (2.0, 2.0) f 2
dot 0.0
tangent diff 0.0

点积是 0,沿切线的差商也是 0,两个结果互相印证。这里的「垂直」是相对于标准欧氏内积说的。如果 x 轴和 y 轴的物理单位不同,画在纸上的直角可能看起来不直;坐标缩放之后,梯度的分量和视觉上的垂直关系都会变。这不是数学错了,是「垂直」的定义依赖你用什么尺子量。

数值验证:三个方向走一小步

找一个有曲率的函数 f(x, y) = x2 + 3y2,在点 (1, 2) 处梯度是 (2, 12)。从同一点出发,分别沿梯度方向、负梯度方向、以及和梯度垂直的方向走 0.05,看看 f 各变化多少:

import math

def f(x, y):
    return x * x + 3 * y * y

p = (1.0, 2.0)
g = (2 * p[0], 6 * p[1])

def unit(v):
    n = math.hypot(v[0], v[1])
    return (v[0] / n, v[1] / n)

def walk(direction, step=0.05):
    d = unit(direction)
    q = (p[0] + step * d[0], p[1] + step * d[1])
    return q, f(q[0], q[1]) - f(p[0], p[1])

for name, d in [("plus", g), ("minus", (-g[0], -g[1])), ("perp", (-g[1], g[0]))]:
    q, df = walk(d)
    print(name, round(q[0], 6), round(q[1], 6), df)

输出:

plus 1.00822 2.04932 0.6156411178946861
minus 0.99178 1.95068 -0.6009113881649562
perp 0.95068 2.00822 0.0026351351351330266

三个方向的结果差别很明显。沿梯度走,f 增加约 0.616;沿负梯度走,f 减少约 0.601;沿垂直方向走,f 只增加约 0.0026。负梯度方向是三者中下降最多的,这正是方向导数为 −||∇f|| 的数值体现。垂直方向的点积是 0,所以一阶变化为 0,剩下的 0.0026 完全来自二阶项。

正负两个方向不对称,也值得解释。沿梯度走 0.05,一阶项是 +0.6083,二阶项是正的 +0.0073,合计 0.6156;沿负梯度走,一阶项是 −0.6083,二阶项仍然是正的 +0.0073,合计 −0.6010。曲率让两个方向都额外增加一点,所以上升比下降更「猛」。这说明「负梯度下降最多」是局部结论,步长一大,二阶项就可能翻盘。

实际调参时,这个数值实验比看公式更有用。它把「方向对不对」和「步子大不大」两件事分开了:方向由点积决定,步子由学习率和曲率决定。如果方向对但 loss 反弹,问题通常在步子;如果沿负梯度走 loss 还上升,才要怀疑梯度符号或者函数本身。

尺度问题:梯度大小不由参数大小决定

假设两个参数的取值范围完全不同:x 的量级是 1000,y 的量级是 0.001。取函数 f(x, y) = (x/1000)2 + (y/0.001)2,在点 (1000, 0.001) 处,f 的值是 2。算一下两个偏导:

def f(x, y):
    return (x / 1000.0) ** 2 + (y / 0.001) ** 2

x, y = 1000.0, 0.001
print("f", f(x, y))
print("grad", 2 * x / 1000.0 ** 2, 2 * y / 0.001 ** 2)
xs, ys = x / 1000.0, y / 0.001
print("normalized", 2 * xs, 2 * ys)

输出:

f 2.0
grad 0.002 2000.0000000000002
normalized 2.0 2.0

很多人会凭直觉说「x 的数值是 1000,梯度应该由 x 主导」。实际算出来正好相反:x 分量只有 0.002,y 分量是 2000,差了一百万倍。原因不在参数的数值,而在曲率。f 对 x 的二阶导数是 2/10002,非常平;对 y 的二阶导数是 2/0.0012,非常陡。梯度约等于「曲率乘上离极值的距离」,x 虽然离原点远,但它那个方向被压得很平,所以分量反而小。

等高线也能看出这件事。令 f = c,得到 (x/1000)2 + (y/0.001)2 = c,这是一个椭圆:x 方向的半轴是 1000√c,y 方向的半轴是 0.001√c,长轴和短轴的比例是一百万比一。等高线被拉得极长,像一条几乎水平的细带。梯度垂直于这条细带,所以它的方向几乎是竖直的,y 分量自然占了绝对多数。

把坐标标准化:令 xs = x/1000,ys = y/0.001,函数变成 f = xs2 + ys2。等高线是圆,梯度是 (2, 2),两个分量相等。同一个点、同一个函数,只是换了坐标,梯度的形状就从「一百万比一」变成了「一比一」。这也是机器学习里做特征标准化的直接动机:不是让数值好看,是让优化看到的几何形状别太扁。

标准化不是万能的。它按每个变量的取值范围缩放,能改善「量级不一致」;如果函数的曲率方向和变量轴不一致,或者变量之间强相关,标准化之后等高线仍可能是斜着的椭圆。那种情况需要白化(whitening)或二阶预条件,单靠减均值除标准差不够。

还要注意,梯度分量的大小和参数更新的效果不是一回事。x 分量小,不代表 x 不重要;它只说明在当前点、当前坐标下,f 对 x 的局部敏感度低。换个坐标、换个参数化方式,同一个函数的梯度分量会变,但函数本身没变。所以比较不同模型的梯度绝对值,必须先确认它们在同一套坐标和同一套损失定义下。

一张现象对照表

下面这些现象在调参、特征工程和图像处理里都出现过。它们不一定都是梯度算错,很多时候是尺度、耦合或者坐标系的问题。

现象真实原因第一步查什么
只调一个参数没效果该参数的偏导接近 0,可能落在饱和区、ReLU 死亡,或者根本没进计算图打印该参数的梯度绝对值和它是否可训练
两个方向更新互相抵消两个参数强相关,梯度分量方向相反,单独看一个方向都不准看梯度向量夹角和输入特征的相关性
梯度某个分量恒为 0该变量不参与 loss,可能是未使用的输入、被 detach 断开,或者上游梯度被掩码查计算图的依赖关系,再看该变量是否真的出现在前向计算里
梯度尺度差几个数量级特征没有标准化,或者损失对各个方向的曲率差异很大逐个看梯度分量绝对值和特征的取值范围
收敛路径来回锯齿学习率相对曲率过大,或者尺度差异让参数在两个方向来回震荡看 loss 曲线、梯度范数和二阶条件数
参数更新后 loss 反弹步长太大越过极小值,或者更新方向符号写错检查学习率、更新式符号,做一次单步 loss 对比
梯度方向和图像边缘差 90 度梯度方向本来就垂直于边缘,比较对象搞错;再叠加 y 轴朝下和核符号约定,可能整体反转确认比的是边缘法线还是切线,再查坐标系和核是否翻转

最后一行在图像处理里特别常见。Sobel 的 gx 和 gy 只是两个偏导的离散近似,把它们拼成向量之前,要先约定 x 向右、y 向哪边。屏幕坐标通常 y 向下,数学坐标 y 向上,同一个数组在两种约定下画出来的箭头会上下颠倒;卷积核翻转又会再翻一次。如果比较的是「边缘往哪走」而不是「亮度往哪增」,那 90 度差是应该的,不是 bug。

边界与代价

第一,梯度只描述局部。它是当前点的一阶信息,步长一大,二阶项就会接管。前面那个 x2 + 3y2 的例子已经显示,正负两个方向的下降量并不对称。优化器如果只看梯度、不看曲率,学习率设得又大,loss 反弹几乎是必然的。

第二,不可导点没有梯度。ReLU 在 0 点、绝对值在 0 点、max pooling 在并列最大值处都不可导。框架通常选一个次梯度(subgradient)顶上,比如让 ReLU 在 0 点取 0 或 1。这个选择在大多数训练里能用,但它不是唯一正确的导数;做梯度检查、对抗攻击或者二阶分析时,要记得这些点的特殊性。

第三,梯度依赖坐标尺度。同一个函数,换一组单位,梯度分量会变,「最陡方向」在视觉上也会变。严格说,梯度是相对于某个内积定义的;标准欧氏内积下,梯度垂直于等高线,方向导数由点积给出。如果换成别的度量,比如按参数重要性加权的内积,最陡方向就不再是朴素梯度,而是自然梯度或预条件梯度。这不是数学上的文字游戏,而是优化里真实存在的选择。

第四,高维下算全梯度很贵。一次完整的前向加反向,成本大致和参数个数成正比;参数上亿,单机一步就要几百毫秒。小批量随机梯度用一部分样本估计整批的梯度,方差大但便宜。有限差分更贵,n 个参数要 2n 次前向,所以只在梯度检查时用,不会拿来做训练。

第五,有约束时梯度方向可能不可行。如果参数必须满足某个范围或者某个等式约束,沿负梯度走一步可能直接跑到可行域外面。这时要做投影,或者解带约束的优化问题,不能把无约束的梯度下降直接套上去。约束下的「最陡下降方向」和自由空间里的梯度方向是两回事。

第六,鞍点处梯度为 0,但不是极小值。高维空间里,鞍点比局部极小值常见得多:某些方向向上,某些方向向下,一阶梯度却全是 0。只看梯度范数会以为「已经收敛」,实际上还在鞍点平台上。要区分这种情况,需要看二阶信息,或者加一点扰动看 loss 能不能继续降。

第七,小批量梯度是噪声估计。同一步的梯度方向可能因为采样而偏,单独一两个 step 的 loss 上升不代表方向错了。判断优化是否正常,要看一段窗口的平均趋势和梯度方差,而不是盯住某一步的数字。

五条当天能做的练习

这几条都不需要框架,手算加几行 Python 就能完成。做完之后,偏导、梯度、方向导数这三个概念应该能连成一条线。

  1. 手算 f(x, y) = x2y 的 ∂f/∂x 和 ∂f/∂y,在点 (2, 1) 处求值;再用中心差分核对,记录两者的小数位差异。
  2. 对 f(x, y) = x2y + 3y 在点 (−1, 2) 处做一次中心差分,把 h 分别取 10−3、10−5、10−7,观察误差是先降后升还是单调变化。
  3. 在点 (2, 1.5) 处,沿单位方向 u = (0.6, 0.8) 算方向导数,先用点积算,再用差商算,确认两者都等于 9.2;再换成和梯度同向的单位向量,确认结果变成 9.2195。
  4. 对 f(x, y) = x2 + 3y2 在点 (1, 2) 处,取切向量 (−12, 2),验证它与梯度 (2, 12) 的点积为 0,并用中心差分确认沿该方向的 f 变化接近 0。
  5. 对 f(x, y) = (x/1000)2 + (y/0.001)2 在点 (1000, 0.001) 处,分别打印原始坐标和标准化坐标下的梯度,解释为什么两个分量的比例从一百万比一变成一比一。

从梯度到梯度下降

到这里,我们已经知道「哪边是下坡」:负梯度方向是局部下降最快的方向,方向导数的绝对值等于梯度的长度,等高线与梯度垂直。但这只是第一步。知道方向,不等于知道该迈多大一步,也不等于知道这条路径会不会卡住。

梯度下降就是拿负梯度当方向,乘上一个学习率当步长,反复迭代。它什么时候收敛、学习率太大会怎样、遇到鞍点或者狭长山谷会怎样、为什么动量能缓解锯齿,这些问题都要在梯度的基础上继续往下问。下一篇讲梯度下降为什么往下走,以及它什么时候不灵。