有人自己实现了一个概率分布,做完归一化后用数值方法检查:把 pdf 在一组网格点上取值,乘上网格宽度再全部加起来,结果怎么都不等于 1,要么 1.02,要么 0.97。回头把网格加密,数字会变,但仍然不踏实。另一边,训练日志里用 mean 当 loss,batch 设为 32 时 loss 在 0.68 附近,batch 改成 256 后掉到 0.11,于是有人以为模型突然变好了。
这两件事看起来无关,其实是同一个误解的两面:把离散的求和当成了积分,把样本平均当成了总体平均。积分是「把无限多个无限薄的东西累加起来」,求和只是它的有限近似;平均是积分除以区间长度,样本平均则是这个积分的一个估计量,样本一变,估计值就会变。
这篇从面积讲起:先说清积分到底在累加什么,再用基本定理把导数和积分接上,然后解释概率密度为什么可以大于 1、期望为什么是一个积分,最后比较三种数值积分方法,并说明为什么采样估计在高维里反而更划算。
积分就是累积与面积
先看一个最朴素的问法:曲线 y=f(x) 在区间 [a,b] 下方围出的面积是多少。把区间切成 n 段,每段宽度 Δx=(b−a)/n,在每一段里选一个高度,用「宽乘高」的小矩形代替那一条的真实面积,再把所有矩形加起来。这个和叫黎曼和(Riemann sum)。当 n 越来越大、Δx 越来越小,黎曼和趋近的那个值就是定积分,记作 ∫ₐᵇ f(x)dx。
取 f(x)=x²,区间 [0,1],解析结果是 1/3。分别用右端点高度和中点高度算 n=10、100、1000 的矩形和:
def right_sum(n):
h = 1 / n
return sum((i * h) ** 2 for i in range(1, n + 1)) * h
def mid_sum(n):
h = 1 / n
return sum(((i + 0.5) * h) ** 2 for i in range(n)) * h
for n in (10, 100, 1000):
r, m = right_sum(n), mid_sum(n)
print("n=%5d right=%.8f err=%+.8f | mid=%.8f err=%+.8f"
% (n, r, r - 1/3, m, m - 1/3))
本机 Python 3.15 的输出:
n= 10 right=0.38500000 err=+0.05166667 | mid=0.33250000 err=-0.00083333
n= 100 right=0.33835000 err=+0.00501667 | mid=0.33332500 err=-0.00000833
n= 1000 right=0.33383350 err=+0.00050017 | mid=0.33333325 err=-0.00000008
右端点和的误差每次大约降到十分之一,符合 1/n 的量级;中点和每次降到百分之一,是 1/n² 的量级。差别来自误差的抵消方式:中点把每一段的一阶误差左右抵消掉了,右端点没有。这也说明一个常被忽略的点:同样的「切段再求和」,取高度的方式不同,精度可以差一个数量级。数值积分不是只有一种写法。
为什么面积能用求和逼近?因为每一小段上函数值变化不大时,矩形和那条曲边梯形只差一个很小的三角形,段数越多,这个差越小。这里有一个前提:函数在区间上要足够规矩,比如连续或有界且间断点不太多。对那种「有理点取 1、无理点取 0」的病态函数,无论怎么切,矩形和都不会稳定到某个值,它不可积。工程里遇到的函数基本都满足条件,但「可积」不是自动成立的。
还要注意定积分算的是有向面积:曲线在横轴下方时,那部分贡献为负。概率密度不出现这种情况,因为密度非负;但算净变化量、位移、盈亏时,负面积的符号不能丢。把积分一律理解成「面积」,容易在这类场景里把正负号吃掉。
基本定理:累积的导数回到密度
定义累积函数 F(x)=∫ₐˣ f(t)dt,它表示从 a 到 x 已经累积了多少面积。给 x 加一个很小的增量 h,累积量增加的是 [x, x+h] 这一薄条的面积,约等于 f(x)·h。于是
F(x+h) − F(x) ≈ f(x)·h
(F(x+h) − F(x)) / h ≈ f(x)
让 h 趋于零,左边就是 F 的导数,右边是 f(x)。这就是微积分基本定理:F'(x)=f(x)。一句话理由:累积量的瞬时增量,等于当前点的密度乘以时间(或长度)增量。积分和导数在这里不是两套独立的技术,而是同一个量的两种看法。
它还有一个直接推论:∫ₐᵇ f(x)dx = F(b)−F(a)。要求一整段的累积量,不必真的去切一万段,只要找到原函数,两端相减。实际计算里很多积分没有初等原函数,所以才需要数值方法;但只要原函数存在,这条定理就把「累积」变成了「查表相减」。用 x² 验证:原函数是 x³/3,从 0 到 1 相减得到 1/3,和上一节的数值结果对得上。
这里 F 是「某一个」原函数,不是唯一的:给 F 加任意常数,导数不变,所以不定积分写成 F(x)+C。定积分用两端相减,常数正好抵消,结果唯一。这个细节在代码里对应「积分起点」:累积函数从哪个位置开始积,差的只是一个常数,但报绝对值时必须说清楚起点,否则两个都对不上。
反过来看,这也解释了上一组文章里导数的意义:导数描述局部变化率,积分描述整体累积量。知道每一点的密度,累加得到总量;知道总量函数,求导回到密度。两者互为逆运算,不是巧合。
概率密度与累积分布
连续随机变量的概率密度函数(pdf)f(x) 不是概率,而是「单位长度上的概率密度」。要得到落在一个区间里的概率,必须对密度做积分:P(a<X<b)=∫ₐᵇ f(x)dx。累积分布函数(CDF)F(x)=P(X≤x) 就是密度从负无穷积到 x 的结果,所以 F'=f,正好是上一节的定理。
把两者的关系写清楚:F(x)=∫ f(t)dt(下限负无穷,上限 x),P(a<X<b)=F(b)−F(a)。CDF 单调不减,从 0 长到 1;pdf 可以上下起伏,只要不落到负值。概率是面积,不是高度,所以峰值高不代表概率大。检查归一化时,正确写法是 sum(f(x_i)) * Δx,其中 Δx 是相邻网格点的间距;网格不均匀时要写成 sum(f(x_i) * (x_{i+1} - x_i))。
因为 pdf 是密度,它完全可以大于 1。约束只有两条:非负,且整个定义域上的积分等于 1。比如 N(0, 0.1²),标准差只有 0.1,密度在 0 附近非常集中,峰值是
1 / (0.1 * sqrt(2π)) ≈ 3.9894
这个数比 1 大得多,但它不是概率。落在 0 附近一个宽 0.02 的小区间里的概率,大约是 3.9894×0.02≈0.0798,仍然远小于 1。下面实际算一下峰值,并用梯形法验证总积分为 1:
import math
sigma = 0.1
peak = 1 / (sigma * math.sqrt(2 * math.pi))
print("peak =", peak)
def phi(x):
return math.exp(-x*x/(2*sigma*sigma)) / (sigma * math.sqrt(2*math.pi))
n, a, b = 200000, 0.0, 10 * sigma
h = (b - a) / n
s = 0.5 * (phi(a) + phi(b))
for i in range(1, n):
s += phi(a + i * h)
s *= h
print("half integral =", s, " full =", 2 * s)
peak = 3.989422804014327
half integral = 0.49999999999993155 full = 0.9999999999998631
峰值 3.9894,积分 1。两个数字同时成立,正好说明「密度大」和「概率大」不是一回事。归一化检查之所以对不上,往往是因为用了求和却没有乘 Δx,或者网格范围截断得太早,尾部那一点点面积被丢掉了。
期望也是积分
期望(expectation)是随机变量的加权平均,权就是概率。离散情形写成 ∑ xᵢpᵢ;连续情形,求和变成积分:E[X]=∫ x f(x)dx。E[g(X)] 同理,把 x 换成 g(x):∫ g(x)f(x)dx。
两种写法只差一个符号:∑ 换成 ∫,pᵢ 换成 f(x)dx。因为 f(x)dx 才是「落在 x 附近一小段里的概率」,pᵢ 本身就是概率。很多人把 f(x) 当概率直接乘,算出大于 1 的「概率」,问题就出在这里。量纲也能帮忙判断:f(x) 的单位是「每单位长度的概率」,乘上 dx 才变成无量纲的概率。
以标准正态的 E|X| 为例。它没有简单的四则表达式,但可以数值积分。利用对称性,只算正半轴再乘 2:
import math
def phi(x):
return math.exp(-x*x/2) / math.sqrt(2*math.pi)
def trap(f, a, b, n):
h = (b - a) / n
s = 0.5 * (f(a) + f(b))
for i in range(1, n):
s += f(a + i * h)
return s * h
val = 2 * trap(lambda x: x * phi(x), 0, 10, 100000)
print("E|X| numeric =", val)
print("sqrt(2/pi) =", math.sqrt(2 / math.pi))
print("error =", val - math.sqrt(2 / math.pi))
E|X| numeric = 0.7978845601379287
sqrt(2/pi) = 0.7978845608028654
error = -6.649366612876406e-10
数值和解析值 √(2/π)≈0.7979 对上了,误差在十的负十次方量级。这个例子也说明,期望不是「把样本加起来除以个数」这么一句代码,它的数学定义是一个积分;样本平均只是这个积分的一个估计。两者在样本趋于无穷时才重合。
数值积分三法:矩形、梯形、蒙特卡洛
没有原函数时只能数值算。三种最常见的做法:矩形法(每段取一个高度)、梯形法(每段用两端点连成的梯形)、蒙特卡洛法(在区间里随机撒点,用函数值的平均乘以区间长度)。前两种是确定性的网格法,第三种是随机方法。
对 ∫₀¹ x²dx 用同样的规模 n=1000 各算一次,蒙特卡洛用固定种子以便复现:
import random
f = lambda x: x * x
exact = 1 / 3
def rectangle(n):
h = 1 / n
return sum(f(i * h) for i in range(1, n + 1)) * h
def trapezoid(n):
h = 1 / n
return (0.5 * f(0) + sum(f(i * h) for i in range(1, n)) + 0.5 * f(1)) * h
def monte_carlo(n, rng):
return sum(f(rng.random()) for _ in range(n)) / n
rng = random.Random(42)
for name, v in [("rectangle", rectangle(1000)),
("trapezoid", trapezoid(1000)),
("monte carlo", monte_carlo(1000, rng))]:
print("%-12s = %.8f error = %+.8f" % (name, v, v - exact))
rectangle = 0.33383350 error = +0.00050017
trapezoid = 0.33333350 error = +0.00000017
monte carlo = 0.34547684 error = +0.01214350
同样的 n,梯形法误差最小,蒙特卡洛最差。这不是说蒙特卡洛没用,而是它的误差下降方式不同:网格法的误差按步长的幂次下降,蒙特卡洛按 1/√n 下降。把蒙特卡洛重复多次,看平均误差随 n 的变化:
monte carlo error vs n (20 repeats, mean absolute error)
n= 100 mean |err| = 0.021700 ~ 1/sqrt(n) = 0.100000
n= 1000 mean |err| = 0.006315 ~ 1/sqrt(n) = 0.031623
n= 10000 mean |err| = 0.002443 ~ 1/sqrt(n) = 0.010000
n=100000 mean |err| = 0.000667 ~ 1/sqrt(n) = 0.003162
n 增大十倍,误差大约降到三分之一,符合 1/√n 的量级。注意 1/√n 是误差的量级上限,实际系数取决于函数本身,所以那一列只用来对照趋势。
网格法的误差阶可以这样理解:右端点每段的误差约等于 ½f'(x)h²,n 段加起来是 O(h),也就是 O(1/n);梯形每段的误差约等于 −(1/12)f''(x)h³,加起来是 O(h²)。蒙特卡洛的误差来自中心极限定理,标准差按 1/√n 下降,而且这个阶数与维数无关。三种方法的差别,本质上就是「用规则网格换高阶精度」和「用随机采样换维数自由」的取舍。
关键差别在维数。一维网格用 n 个点,二维要用 n²,d 维要 nᵈ。每维只取 100 个点,十维就是 100 的十次方,也就是一后面二十个零,根本算不完。蒙特卡洛的 1/√n 与维数无关,所以高维积分几乎只能用采样。代价是它收敛慢:精度想提高十倍,样本要增加一百倍。
采样与积分:样本平均就是积分估计
把积分写成 E[g(X)]=∫g(x)f(x)dx,就得到了一个估计方法:从 f 里采样,算出 g 的样本平均。这个平均的期望等于积分,方差随样本数下降。换句话说,采样估计不是积分的替代品,它就是积分的一种算法,只不过用随机点代替了规则网格。
以标准正态的 E|X| 为例,用采样估计,每个样本量重复一百次,看估计值的均值和标准差:
import math, random, statistics
rng = random.Random(11)
def estimate(n):
s = 0.0
for _ in range(n):
u1, u2 = rng.random(), rng.random()
z = math.sqrt(-2 * math.log(u1)) * math.cos(2 * math.pi * u2)
s += abs(z)
return s / n
for n in (100, 1000, 10000):
reps = [estimate(n) for _ in range(100)]
print("n=%6d mean=%.6f std=%.6f" %
(n, statistics.fmean(reps), statistics.pstdev(reps)))
n= 100 mean=0.804768 std=0.052569
n= 1000 mean=0.797569 std=0.019349
n= 10000 mean=0.797364 std=0.005201
样本量每加十倍,估计值的标准差大约降到三分之一,仍然符合 1/√n。估计的均值围着 0.7979 转,说明它是无偏的(至少在这个量级上看不出偏差)。无偏不等于准确:单次估计可能偏很多,偏差的大小由标准差衡量;样本量增大,标准差按 σ/√n 下降,这就是「多采样能提高精度,但提升很慢」的来源。
这正好解释了训练里的 loss。全量 loss 是「每个样本损失的平均」,也就是损失函数关于数据分布的期望,写成积分;batch loss 是从这个分布里抽 b 个样本算出的样本平均,是积分的一个估计量。batch 越小,估计的方差越大,所以 batch 从 256 改成 32 时,loss 的数值会跳得更厉害。这不是模型变差或变好,而是估计量的波动变大了。看到「batch 一变 loss 尺度就变」,先确认 loss 是按样本数求平均,还是按 token 数或别的口径归一化。
一张现象对照表
下面这些现象都和「离散与连续」「求和与积分」的混淆有关,排查时先分清手里的是密度还是概率。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| pdf 积分应为 1 但求和不是 1 | 求和时没乘网格宽度 Δx,或积分范围截断太早 | 检查是否写了 sum(p) * dx,再扩大积分范围 |
| 把离散求和直接当积分 | 步长不为零,黎曼和只是近似 | 把步长减半,看结果是否稳定收敛 |
| batch 变化 loss 尺度跟着变 | loss 是样本平均,样本数改变估计的方差,归一化口径也可能不同 | 确认 loss 是 sum 还是 mean,分母是什么 |
| 采样估计的方差很大 | 样本太少,1/√n 收敛慢;分布尾部样本稀疏 | 增大样本数,改用分层或重要性采样 |
| 数值积分结果随网格变 | 步长太大,曲率大的区域误差集中 | 做步长减半的收敛性检查,比较两次结果 |
| 高维积分算不动 | 网格点数是 nᵈ,维数一高就爆炸 | 改用蒙特卡洛,或寻找解析近似 |
| 期望和积分结果对不上 | pdf 没有归一化,或变量变换时漏了雅可比因子 | 先验证 pdf 积分为 1,再检查变换的导数 |
边界与代价
第一,高维是硬墙。网格法的成本随维数指数增长,三四十维就已经不可能穷举。蒙特卡洛绕开了指数增长,但代价是精度只能按 1/√n 提升。
第二,很多积分没有解析式。正态的 CDF、大部分贝叶斯后验、复杂的损失期望,都只能数值算。数值结果没有「精确答案」可言,只有「误差多大」需要交代。
第三,步长和精度要做取舍。步长减半,网格法的计算量翻倍甚至四倍;蒙特卡洛则是样本翻四倍才把误差减半。精度要求提高一个数量级,成本往往提高两个数量级。
第四,蒙特卡洛收敛慢且有随机性。同一个积分跑两次结果不同,需要报告标准差;在训练里,这个随机性就是 batch 之间的波动,不能当成模型信号。
第五,无界区间和奇点要额外处理。正态分布在整条实轴上,数值积分必须截断尾部;截断本身引入误差,截得太短会把那一点概率丢掉。有奇点时还要做变量变换或分段,否则积分值会失真。
第六,误差不好界定。网格法可以用步长估误差,蒙特卡洛只能给统计意义上的置信区间;如果分布尾部很重,方差可能不存在,1/√n 的结论也会失效。所以数值积分的结果必须带一个误差说明,单独一个数字说明不了它有多可信。
当天可以验证的练习
- 把黎曼和的 n 从 10 取到 10000,分别记录右端点和中点的误差,验证前者约按 1/n、后者约按 1/n² 下降。
- 把正态的标准差分别设成 0.1 和 1,算出两个峰值,再用梯形法验证两条曲线的积分都是 1,解释峰值差在哪。
- 用不同上限(5、10、20)数值积分标准正态的 E|X|,比较结果与 √(2/π) 的差距,说明截断误差。
- 对 ∫₀¹x²dx 用矩形、梯形、蒙特卡洛各算 n=1000 和 n=10000,重复蒙特卡洛二十次,记录误差的均值和标准差。
- 用采样估计均匀分布上 X² 的期望,样本量取 100、1000、10000,各重复一百次,画出估计值的分布并比较标准差。
从局部变化率到整体累积
这一组文章走到这里,可以把线收回来。导数回答的是「此刻变化有多快」,它看的是一个点附近;积分回答的是「一共累积了多少」,它看的是一整段。基本定理把两者接上:累积函数的导数回到密度,密度在区间上的积分给出总量。概率密度、累积分布、期望,全都是这条线上的不同说法。
对写代码的人来说,这条线还有一个直接用处:凡是看到「平均」「期望」「归一化」「总面积」,先问一句它是对什么积分、权重是什么、离散近似有没有乘宽度。训练 loss 是平均,概率归一化是积分,batch 估计是采样,这三件事在数学上是同一件事的三种外观。
还有一个常见的混淆是把积分当成求和。求和是离散的、精确的;积分是连续的、取极限的。代码里能写的永远是求和,所以必须清楚自己离积分还差多少:步长多大、权重乘了没有、截断丢了多少。把这三个问题答清楚,数值结果才有意义。
下一组进入线性代数与矩阵求导。那里关心的不再是一个数怎么累积,而是一组数如何一起变换:向量、矩阵、特征值,以及梯度在矩阵形式下怎么写。多元函数的导数已经在前面出现过,接下来的任务是把它们组织成可计算的形状。