一次小 batch 训练,模型里加了 BatchNorm。前几百步都正常,某一步 loss 突然变成 NaN。把数值打出来,发现那一批某个通道的方差恰好是 0:八条样本在这个特征上完全一样,减完均值全是 0,再除以标准差就成了 0/0。
另一边,有人写归一化代码时用了 x / (std + 1e-8)。同事问为什么加这一项,回答是「不加会炸,加上就好了,具体原因不太清楚」。于是这个常数被当成玄学,照抄到别的项目,改大改小全凭手感。
这两件事其实是同一个问题:分母变成 0 时,那个表达式到底还有没有值。答案是,取决于你怎么靠近。0/0 不是「没有答案」,而是「答案由逼近的方式决定」。要把这句话说清楚,需要极限;要说明什么时候能放心地算,需要连续。
极限的大白话:只关心靠近的过程
极限(limit)先用一句大白话说:当 x 越来越接近 a 时,f(x) 越来越接近 L,就记作 lim f(x) = L,其中 x 趋于 a。这里有两个「不要求」:不要求 x 真的等于 a,也不要求 f 在 a 处有定义。极限只关心靠近的过程,不关心终点那一格。
举个最简单的数列:aₙ = 1/n。n 取 1、2、3、10、100、1000,值依次是 1、0.5、0.333、0.1、0.01、0.001。它永远不等于 0,但可以要多接近 0 有多接近。数学上就把 0 定义成这个数列的极限。
严格一点的说法叫 ε 语言:任意给一个很小的正数 ε,总能找到一个位置,之后所有的项都落在 L 的 ε 范围里。翻译成人话就是「你想要多近,我都能做到」。这里不展开证明,只记住这个承诺的方向:是对方先给出精度要求,你再证明存在某个位置满足它,而不是先指定位置再谈精度。
「不要求 f 在 a 处有定义」这一条,是后面所有讨论的基础。函数在 a 点挖了一个洞,或者干脆跳到别处,只要靠近时趋势稳定,极限照样存在。反过来说,一个函数在 a 点有定义,也不代表极限存在,因为两条靠近的路可能通向不同的地方。
靠近的方式复杂到一定程度,极限也会不存在。sin(1/x) 在 x 趋近 0 时会无限次在 −1 和 1 之间摆动,不管把窗口缩多小,里面都还是一次完整的振荡。它不是在趋近某个值,所以极限不存在。这个例子说明「有定义」和「有极限」是两件独立的事。
0/0 是未定式:答案取决于靠近的速度
把 x=0 直接代进 sin(x)/x,分子是 0,分母也是 0。这种形式叫未定式(indeterminate form):它本身没有确定的值,值取决于分子和分母谁更快地趋向 0。下面用几个越来越小的 x 看趋势。
import math
for x in [1, 0.1, 0.01, 1e-6]:
print("%-6s %.15f" % (repr(x), math.sin(x) / x))
1 0.841470984807897
0.1 0.998334166468282
0.01 0.999983333416666
1e-06 0.999999999999833
四个点从 0.84 一路涨到 0.999999999999833,趋势非常明确:x 靠近 0 时,sin(x)/x 靠近 1。这个 1 就是极限。注意在 x=0 处这个表达式依然没有定义,代码直接算会抛除零错误,但极限不需要那里有值。
这个极限在工程里有实际用处。数字信号处理里的 sinc 滤波器、图像缩放时的插值核,核心形状就是 sin(x)/x,它在 0 点的值被直接定义成 1,正是为了让函数在那里接上。也就是说,工程上不是绕开 0/0,而是用极限算出的结果把那个洞补上。
换一个同样是 0/0 的函数:(1−cos x)/x²。
for x in [0.1, 0.01, 0.001]:
print("%-6s %.15f" % (repr(x), (1 - math.cos(x)) / (x * x)))
0.1 0.499583472197418
0.01 0.499995833347366
0.001 0.499999958325503
x 从 0.1 降到 0.001,值从 0.4996 逼近 0.5。同样是 0/0,答案却是 1/2,不是 1。差别在靠近的速度:sin x 和 x 同阶,1−cos x 大约等于 x²/2,分母是 x²,所以商趋于 1/2。这说明 0/0 的答案由分子分母的相对速度决定,光看形式判断不了。
洛必达法则(L'Hôpital's rule)是处理这类问题的一条捷径:如果分子分母都趋于 0(或者都趋于无穷),在 a 附近都可导,且分母的导数不为 0,那么商的极限等于导数之商的极限。用它处理 sin x/x,求一次导得到 cos x/1,在 0 处是 1,和数值结果对得上。它不能用的情形同样明确:不是 0/0 或无穷比无穷、导数不存在、求导之后极限仍然不存在,这三种情况都得换别的方法。
未定式也不止 0/0 一种。0 乘无穷、无穷减无穷、1 的无穷次方,都属于形式上看不出结果、必须看具体函数的那一类。处理思路是一样的:先变形,让速度的差别显现出来,再取极限。洛必达只是变形手段之一,遇到它失效的场合,泰勒展开通常更可靠。
连续的三句话
连续(continuity)有三句话,它们是等价的。第一句是直观的:图像一笔画得下来,中间没有断开。第二句是能计算的:lim f(x) = f(a),极限存在,而且恰好等于函数在那一点的值。第三句是分左右的:左极限和右极限都存在,彼此相等,并且都等于 f(a)。
三句话讲的是同一件事,但第三句最好用,因为它把「有没有断」拆成了两个可以分别检查的方向。很多分段函数的问题,就是因为只检查了其中一侧。
写代码时判断连续,通常没法证明,只能设一个容差:取几个 h,如果函数值的变化量随 h 缩小而同比例缩小,就认为它在这个尺度上连续。容差取多大取决于你关心的精度,而不是数学定义本身,这也是为什么同一个函数在不同精度下会得到不同的结论。
构造一个反例就清楚了。规定 f(x) 在 x 小于 0 时等于 −x,在 x 大于等于 0 时等于 x+1。在 0 处,从左边靠近得到 0,从右边靠近得到 1,两条路通向不同的地方。
def pw(t):
return -t if t < 0 else t + 1
for h in [0.1, 0.01, 0.001]:
print("h=%.3f f(-h)=%.6f f(h)=%.6f" % (h, pw(-h), pw(h)))
h=0.100 f(-h)=0.100000 f(h)=1.100000
h=0.010 f(-h)=0.010000 f(h)=1.010000
h=0.001 f(-h)=0.001000 f(h)=1.001000
采样结果很直观:从负侧靠近,函数值一路降到 0.001;从正侧靠近,函数值一路降到 1.001。两边各自都有极限,但两个极限不相等,所以整体极限不存在,函数在 0 处不连续。图像上就是一个跳变,跳的高度是 1。
这个例子还说明,f(0) 的值在这里并不重要。把 x 等于 0 的那一段改成任意常数,左极限还是 0,右极限还是 1,结论不变。连续的判断看的是靠近的过程,不是单独一个点的取值。
可导必连续,连续不必可导
上一篇用差商定义了导数,这一节把导数和连续的关系补上。两个方向的结论不一样,推导也要分开看。
先证可导必连续。可导的意思是差商 (f(x+h)−f(x))/h 在 h 趋近 0 时有极限,记这个极限为 f'(x)。既然差商收敛到一个有限的数,就可以把增量写成 f(x+h)−f(x) 等于 f'(x)·h 再加上一个比 h 更快趋于 0 的余项。让 h 趋近 0,右边整体趋于 0,于是 f(x+h) 趋近 f(x)。这正好是连续的定义。整个推导只用到一个事实:差商有极限。
反过来不成立,反例还是 |x| 在 0 点。它连续,因为从左右两边靠近,函数值都趋近 0,等于 f(0)。但它不可导,因为左边差商恒为 −1,右边差商恒为 1,两个不同的极限。所以连续是可导的必要条件,不是充分条件。
顺便说清一个常见的误解:连续说的是函数值不断,不是斜率不断。一条折线可以处处连续,但每个拐点都不可导。所以「曲线看起来是连着的」和「处处能求导」之间,差着一整个条件。
把这条单向关系记住,能省不少调试时间。梯度算不出来时,先确认函数在那里连不连续;如果连都不连续,那就不是求导算法的问题,而是函数本身在那里跳了。反过来,函数连续也不能保证梯度可用,尖角、折点、取整都是现成的反例。
还有一个更极端的例子:Weierstrass 函数处处连续,却处处不可导。这里只提名字,不展开构造,它存在的意义是提醒你,「连续但不可导」不只是几个孤立的尖点,可以多到铺满整条曲线。
数值上怎么检查极限与连续
理论上判断极限要靠证明,工程里更常用采样:取一串越来越小的 h,看函数值或差商是否稳定。这个方法有明确的分辨率限制。步长太大,会漏掉尖点;步长太小,浮点误差会盖过信号。
先说漏掉的情况。如果函数在 0 附近有一个很窄的跳变,而你的采样点恰好都落在同一侧,就会得到「连续」的结论。尖点被跳过去了,采样根本没看见它。这也是为什么监控里「每隔一百步打一个点」经常看不出问题:异常可能在两次打印之间。
再说浮点的下限。0.1 加 0.2 在双精度下并不等于 0.3:
print(repr(0.1 + 0.2))
print(0.1 + 0.2 == 0.3)
print(repr(0.1 + 0.2 - 0.3))
0.30000000000000004
False
5.551115123125783e-17
差出来 5.55e-17,这个量级就在双精度的机器精度附近,任何比它更小的差异都会被吞掉。所以数值检查极限时,h 不能无限缩小,缩到 1e-16 附近,分子里的差值已经全是舍入噪声。
用一个具体的差分序列看这个过程。对 √x 在 x=1 算前向差商,真值是 0.5:
import math
for h in [1e-2, 1e-4, 1e-6, 1e-8, 1e-12, 1e-15, 1e-16, 1e-17]:
q = (math.sqrt(1 + h) - math.sqrt(1)) / h
print("h=%.0e quot=%.12f err=%.1e" % (h, q, abs(q - 0.5)))
h=1e-02 quot=0.498756211209 err=1.2e-03
h=1e-04 quot=0.499987500624 err=1.2e-05
h=1e-06 quot=0.499999875059 err=1.2e-07
h=1e-08 quot=0.499999996961 err=3.0e-09
h=1e-12 quot=0.500044450291 err=4.4e-05
h=1e-15 quot=0.444089209850 err=5.6e-02
h=1e-16 quot=0.000000000000 err=5.0e-01
h=1e-17 quot=0.000000000000 err=5.0e-01
h 从 1e-2 降到 1e-8,误差从 1.2e-3 降到 3e-9,符合一阶格式该有的样子。到 1e-12 开始反常,误差回到 4.4e-5;到 1e-16,分子 √(1+h)−1 直接被舍入成 0,差商整个变成 0,误差 0.5。这条曲线就是数值极限的实际边界:先收敛,然后被浮点截断。
把这张表和上一篇 sin 的中心差分对照,会发现两个不同的问题。sin 那张表的误差能降到 1e-11 才回升,因为中心差分是二阶格式,抵消的余项更小;这张表用的是一阶格式,误差按 h 的速度下降,也更早撞上浮点的墙。格式的阶数决定了 h 能用多小,阶数越低,可用区间越窄。
一张现象对照表
下面这些现象都和分母、极限或连续性有关,日志里长得完全不一样,根子上往往是同一类问题。排查顺序建议先看具体数值,再回到定义,最后才去怀疑框架。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| loss 突然变成 NaN | 某处分母为 0,或出现 log(0)、0 乘无穷 | 打印每一步的最小分母,看是否恰好为 0 |
| 归一化后整批输出为 0 | batch 内方差为 0,减去均值后全零,除法失去意义 | 检查该通道的方差和样本数,确认 batch 是否太小 |
| 激活函数接缝处梯度异常 | ReLU、绝对值在 0 点不可导,框架用次梯度兜底 | 统计激活值恰好为 0 的比例,看接缝被踩中的频率 |
| 分段逻辑在边界给出错误结果 | 左右极限不相等,整体极限不存在 | 分别从两侧取几个点,比较两个极限是否一致 |
| 数值梯度忽大忽小 | 步长过大跨过尖点,或过小被浮点抵消 | 取一组 h 量级,看误差是否先收敛后发散 |
| 训练后期梯度爆掉 | 参数走到函数的不连续点附近,误差被放大 | 定位第一次出现 inf 的步数,回溯那一步的输入 |
| 理论上该收敛却停在半路 | 目标函数在该点不连续,或次梯度方向不是下降方向 | 检查目标函数在停点附近是否有跳变或尖角 |
边界与代价
第一,极限的存在性很难验证。证明要求对所有靠近路径都成立,而数值采样只能看有限几个方向。左右极限相等不代表沿任意曲线靠近都收敛,二维以上的函数尤其容易漏。工程上通常默认函数是「讲道理」的,这个默认一旦破了,数值检查给不出任何保证。
第二,连续不保证可导。连续只说明函数值不断,没有说明斜率有极限。图像上的尖角、折线、取整,都是连续但不可导的点。反向传播遇到它们不会停,只是那些点的梯度信息不再来自导数。
第三,数值采样有分辨率极限。采样步长决定了能看见多窄的结构,比步长更窄的尖点、跳变、脉冲都会被平均掉。加上浮点的机器精度下限,采样既不能太粗,也不能太细,可用区间其实很窄。
第四,ε-δ 证明的成本很高。把一个具体的极限写成严格证明,需要构造出 δ 关于 ε 的表达式,函数稍微复杂一点,这个构造就很费劲。工程上几乎不做严格证明,代价是失去了「一定成立」的保证,只剩下「测了这些点都没问题」。
第五,极限是局部性质。每个点都要单独判断,一个点连续不代表邻域内连续,更不代表整条曲线光滑。把局部的结论当成全局结论,是这类问题最常见的误用。
小结与练习
这篇的主线可以压成三句。0/0 是未定式,值取决于分子分母谁更快地趋向 0,所以同一个形式可以算出不同的数;连续的三句话等价,其中「左右极限相等且等于函数值」最好用;可导一定连续,连续不一定可导,|x| 和 ReLU 就卡在这一点上。
当天可以自己验证的练习:
- 算一张 sin(x)/x 的表:x 取 1、0.1、0.01、0.001、1e-6,打印每一行的值,确认它单调逼近 1,并解释为什么 x=0 那一行不能算。
- 算一张 (1−cos x)/x² 的表,x 取 0.1、0.01、0.001、1e-5,确认它逼近 0.5,再把结果和 sin(x)/x 的极限对比,说明两个 0/0 的差别在哪。
- 采样分段函数:x 小于 0 时取 −x,x 大于等于 0 时取 x+1,从两侧各取三个 h,打印函数值,确认左右极限分别是 0 和 1,并说明为什么这个函数在 0 处不连续。
- 检查 ReLU 在 0 点:分别用 h=0.1 和 h=0.001 算左右差商,确认一侧是 1、一侧是 0,再解释框架为什么必须自己规定 0 点的梯度。
- 用不同的 h 做差分:对 √x 在 x=1 取 h 从 1e-2 到 1e-16,打印误差,找出误差最小的 h,并说明再往下为什么变差。
下一篇:两个变化率为什么能相乘
导数的定义里那个 h 趋近 0,到这里终于有了正式的说法:它是一个极限。0/0 之所以能算出数来,是因为分子分母趋向 0 的速度不同,商仍然可以收敛到一个确定的值。这套语言把上一篇留下的含糊之处补上了。
但真正训练模型时,函数几乎都是复合出来的:一层套一层,每层都有自己的参数。要求整个函数的导数,得把内层的变化率和外层的变化率乘起来。这个乘法为什么成立,成立的前提又是什么,就是下一篇链式法则要回答的问题。而它成立的前提,恰好是这里讲的极限与连续。
回头看,这篇讲的其实是一种看待表达式的方式:不要问「代进去等于多少」,要问「靠近的时候趋向多少」。前者在分母为 0 时直接失效,后者才是微积分真正在用的那套语言。这个换法一旦完成,很多看起来玄学的常数和补丁,都能找到自己的位置。