同一个训练脚本,同样的超参数和同一份数据,连跑两遍。第一遍验证损失停在 0.8,第二遍停在 1.2。同事把两条曲线截图发到群里:同一个模型,怎么可能差一半?是不是训练崩了、数据坏了、还是显卡出了问题。有人提议回滚代码,有人提议换机器。

把两次的日志摊开逐项对比,学习率、数据顺序、增强参数都一样。唯一的区别是每个 epoch 打乱样本之后,每个 mini-batch 抽到的那些样本不同。屏幕上那条 loss 不是整个数据集上的值,而是当前 batch 上的平均;换一批样本,这个平均就换一个值。第二遍不是模型变差了,是两次用了不同的一把尺子。

这篇讲的就是这把尺子的刻度和抖动:期望告诉你平均值应该落在哪,方差告诉你单次测量可能偏多远,大数定律告诉你多看几次会稳下来。最后会算清楚 batch 大小和抖动幅度的关系,也就是为什么把 batch 从 8 加到 32,曲线看起来就顺了很多。

期望是加权平均,不是最可能的值

期望(expectation)是加权平均:每个取值乘以它出现的概率,再把所有项加起来,写成 E[X] = ∑ x · p(x)。权重是概率,不是简单的 1/n,因为不同取值出现的可能性不同。这个式子只对离散变量成立,连续情形把求和换成积分:E[X] = ∫ x · f(x) dx,思路一样,都是「取值乘以密度再累加」。

骰子是最适合手算的例子:每个面 1/6,所以期望是 (1+2+3+4+5+6)/6 = 3.5。注意 3.5 不是任何一个面,掷一次永远掷不出 3.5。期望是长期平均的位置,不是一次实验的结果,这一点和「最可能的值」是两回事。

import random
from fractions import Fraction

pmf = {k: Fraction(1, 6) for k in range(1, 7)}
print("E[X] =", sum(k * v for k, v in pmf.items()))

random.seed(20261106)
sample = [random.randint(1, 6) for _ in range(10000)]
print("mean =", round(sum(sample) / len(sample), 4))
E[X] = 7/2
mean = 3.5401

枚举算出精确的 7/2,模拟一万次的均值是 3.5401,和 3.5 差 0.04。这个差距不是代码错了,是抽样误差,它的量级和样本量有关,后面用大数定律解释。期望本身是分布的性质,样本均值只是它的一个估计。

期望也不等于「最可能的值」。骰子六个面的概率并列,没有唯一的众数,期望却是 3.5。分布偏斜时差距更明显:收入分布里大多数人落在中位数以下,少数极高的值把期望拉得很高,于是「平均收入」远高于「典型收入」。报表上只写平均值,很容易让读者以为那就是典型情况。

期望和上一篇的指示变量也能接上。若 I 表示某事件是否发生,取 1 的概率是 p,取 0 的概率是 1−p,那么 E[I] = 1·p + 0·(1−p) = p。所以转化率既是实验里数出来的频率,也是这个 0/1 变量的样本均值,而它的期望正是真实的 p。比率指标之所以能算平均、能估方差,根子就在这里。

期望的线性:不需要独立

期望最重要的性质是线性:E[X + Y] = E[X] + E[Y],更一般地 E[aX + b] = aE[X] + b。这条性质对任意两个随机变量成立,不需要独立,也不需要同分布。它是期望在所有统计量里最好用的原因。

理由可以两步写完。期望是对联合分布求和:E[X+Y] = ∑(x+y)·p(x,y);把括号拆开,得到 ∑x·p(x,y) + ∑y·p(x,y);再按 x 和 y 分组,就变成 E[X] + E[Y]。整个推导只用了加法和求和换序,联合概率怎么分解根本没有出场,所以独立与否都成立。

这条性质还能省掉大量计算。想知道一百个骰子点数之和的期望,不用模拟,直接 100 × 3.5 = 350;哪怕这一百次之间并不独立,结论照样成立。工程上把多个指标加权求和、把分段函数的期望拆开算,用的都是这一步。

用两个骰子验证。分别记录两次掷出的点数,再记录它们的和,各跑一万次。

import random

random.seed(20261106)
a = [random.randint(1, 6) for _ in range(10000)]
b = [random.randint(1, 6) for _ in range(10000)]
s = [x + y for x, y in zip(a, b)]
print(round(sum(a) / len(a), 4), round(sum(b) / len(b), 4), round(sum(s) / len(s), 4))
3.5401 3.499 7.0391

两个单独的均值都有偏差,一个是 3.5401,一个是 3.499,加起来是 7.0391,接近 7。偏差没有消失,但方向和大小恰好让总和落在期望附近。这不是巧合,是线性在起作用:无论两次抽样偏到哪里,和的平均永远等于平均的和。

同样的推导还能说明样本均值为什么是无偏的:E[mean] = E[(ΣXi)/n] = (ΣE[Xi])/n = μ,只要每个样本同分布,连独立性都不需要。但无偏只说明「平均来看不偏」,不代表单次估计没有误差。这一次的均值可能偏高,下一次可能偏低,误差的大小由方差决定。

但乘积没有这条性质。E[XY] = E[X]E[Y] 只在协方差为 0 时成立,独立是它的充分条件。把「期望可加」记成「期望可以随便拆」,是后面方差算错的源头。线性只保护加法,不保护乘法。

方差:波动有多大,以及为什么开平方

期望给位置,方差给宽度。方差(variance)定义为 Var(X) = E[(X − μ)²],其中 μ = E[X]。它衡量的是「偏离均值距离的平方」的平均,单位是原单位的平方。平方有两个作用:让正负偏差都变成正数,同时放大较大的偏差。

把它展开,能得到一个更好算的公式:E[(X−μ)²] = E[X² − 2μX + μ²] = E[X²] − 2μE[X] + μ² = E[X²] − μ²。中间一步用了期望的线性,没有用独立。所以只要知道 E[X] 和 E[X²],方差就能直接算出来。

指示变量是一个有用的特例:I 取 1 的概率为 p,取 0 的概率为 1−p,于是 E[I] = p,E[I²] = p,Var(I) = p − p² = p(1−p)。这个式子在 0 到 1 之间最大是 1/4,在 p = 1/2 时取到,所以比率类指标的方差有上界,估算样本量时经常直接拿它当最坏情况。

骰子的 E[X²] 是 (1+4+9+16+25+36)/6 = 91/6 ≈ 15.1667,μ² 是 12.25,于是 Var = 91/6 − 49/4 = 35/12 ≈ 2.9167。

from fractions import Fraction

EX2 = sum(Fraction(k * k, 6) for k in range(1, 7))
EX = Fraction(7, 2)
Var = EX2 - EX * EX
print("E[X^2] =", EX2, "=", round(float(EX2), 4))
print("Var =", Var, "=", round(float(Var), 4))
print("sd =", round(float(Var) ** 0.5, 4))
E[X^2] = 91/6 = 15.1667
Var = 35/12 = 2.9167
sd = 1.7078

标准差(standard deviation)是方差的平方根,σ ≈ 1.7078。它和原始数据同量纲,所以报表上更常报标准差;方差在数学上更好算,能加、能展开,做推导时更常用。两者不能混着比,尤其别把方差和标准差放进同一张表当成同一个东西。

方差对平移不敏感,对缩放是平方关系:Var(aX + b) = a²Var(X)。加上一个常数,所有点一起平移,偏离均值的距离不变;乘以 a,每段距离都变成 a 倍,平方之后就是 a²。这条性质和期望的线性一起,解释了标准化为什么能把任意变量变成均值 0、方差 1。

方差不总是可加:协方差那一项

和的方差比期望多一项。把 (X+Y) − (μx+μy) 拆成 (X−μx) + (Y−μy),平方后得到两个平方项加一个交叉项,取期望就是:

Var(X + Y) = Var(X) + Var(Y) + 2Cov(X, Y)
Cov(X, Y) = E[XY] − E[X]E[Y]

协方差(covariance)衡量两个变量一起偏离均值的倾向:同向偏离时为正,反向时为负,互不相干时接近 0。只有当 Cov 为 0,才有 Var(X+Y) = VarX + VarY。这就是「方差可加」成立的条件,而期望可加没有这个条件。

构造一对明显相关的变量:掷一次骰子,X 表示「点数大于等于 4」,Y 表示「点数大于等于 5」,都取 0 或 1。Y 为 1 时 X 一定为 1,所以它们正相关。手算:VarX = 1/4,VarY = 2/9,Cov = 1/6,两项相加是 17/36,和的真实方差是 29/36,差值正好是 2Cov = 1/3。

from fractions import Fraction

pairs = [(1 if r >= 4 else 0, 1 if r >= 5 else 0) for r in range(1, 7)]
p = Fraction(1, 6)
mean = lambda vs: sum(p * v for v in vs)
var = lambda vs: sum(p * (v - mean(vs)) ** 2 for v in vs)
xs = [u for u, _ in pairs]
ys = [v for _, v in pairs]
cov = sum(p * (u - mean(xs)) * (v - mean(ys)) for u, v in pairs)
print("VarX =", var(xs), "VarY =", var(ys), "Cov =", cov)
print("VarX+VarY =", var(xs) + var(ys), "Var(X+Y) =", var([u + v for u, v in pairs]))
VarX = 1/4 VarY = 2/9 Cov = 1/6
VarX+VarY = 17/36 Var(X+Y) = 29/36

再用两万次模拟核对一遍,顺便确认协方差不是纸面上的数。

import random

random.seed(20261106)
n = 20000
sx, sy = [], []
for _ in range(n):
    r = random.randint(1, 6)
    sx.append(1 if r >= 4 else 0)
    sy.append(1 if r >= 5 else 0)
ss = [u + v for u, v in zip(sx, sy)]
def sample_cov(u, v):
    mu, mv = sum(u) / n, sum(v) / n
    return sum((x - mu) * (y - mv) for x, y in zip(u, v)) / n
print("sim VarX =", round(sample_cov(sx, sx), 4), "VarY =", round(sample_cov(sy, sy), 4))
print("sim Cov =", round(sample_cov(sx, sy), 4))
print("sim Var(X+Y) =", round(sample_cov(ss, ss), 4))
sim VarX = 0.25 VarY = 0.2232
sim Cov = 0.1668
sim Var(X+Y) = 0.8068

模拟的 VarX 是 0.25,VarY 是 0.2232,Cov 是 0.1668,和的方差是 0.8068。若忽略协方差直接把两项相加,会得到 0.4732,而真实值接近 0.8068,差了将近一倍。这个错误在模型集成、误差传播、指标合成里都很常见:两个波动来源不独立时,总波动不是各自波动的简单相加。

把协方差归一化,就得到相关系数 ρ = Cov(X,Y) / (σxσy),取值在 −1 到 1 之间。它只描述线性关系,ρ = 0 不代表独立。上一篇用 X 和 X² 反例拆过这一点:协方差为 0,联合概率却不等于乘积。协方差本身还带量纲,单位是 X 的单位乘 Y 的单位,换个单位数值就变,所以跨指标比较强弱时不能直接看它,要先归一化。

大数定律:样本均值会靠近期望

大数定律(law of large numbers)说:在独立同分布、期望有限的条件下,样本均值依概率趋近期望。直白地说,n 越大,均值落在期望附近的概率越高。它不保证每一次都更准,只保证偏得离谱的概率越来越小。

切比雪夫不等式给了一个粗糙的量化:P(|mean − μ| ≥ ε) ≤ σ² / (nε²)。骰子的 σ² 是 35/12,取 n = 1000、ε = 0.1,上界约 0.29。这个界很松,实际误差远小于它,但它足以证明 n 增大时上界趋于 0,也就证明了大数定律。

import random

random.seed(20261106)
for n in (100, 1000, 10000):
    sample = [random.randint(1, 6) for _ in range(n)]
    print(n, round(sum(sample) / n, 4))
100 3.27
1000 3.579
10000 3.5379

100 次的均值是 3.27,1000 次是 3.579,10000 次是 3.5379。注意 1000 次反而比 100 次离 3.5 更远:收敛不是单调的,每一次实验都是新的抽样,误差有大有小。定律保证的是「误差超过阈值的概率越来越小」,不是「下一次一定比上一次准」。把某一次 10000 次的结果当成「已经收敛到真值」,也是误读。

这也解释了「多跑几次取平均」为什么有用:单次均值误差的方差是 σ²/n,把 k 次独立实验再平均,误差方差变成 σ²/(nk)。但这个结论只在同一分布、彼此独立时成立。换了数据集、换了超参数再平均,平均的就不是同一个参数了。

还要把大数定律和中心极限定理分开。大数定律说的是均值收敛到哪个数,回答「位置」;中心极限定理说的是均值围绕期望的波动近似什么形状,回答「区间」。前者保证多采样会准,后者才能给出「误差大概在正负多少」的量化。两者不能互相替代,也不能因为均值看起来收敛了就跳过区间估计。小样本时中心极限定理的近似还可能不准,重尾分布尤其明显。

损失曲线为什么抖:σ/√b

训练时每个 batch 的平均 loss 是样本均值的估计。设单个样本 loss 的标准差是 σ,batch 大小为 b,样本独立同分布,那么 batch 均值的标准差是 σ/√b。这个式子直接来自方差的可加性:Var(mean) = Var(Σ Xi/b) = bσ²/b² = σ²/b,开平方就得到 σ/√b。

第一步用了独立性。如果同一个 batch 内的样本相关,方差里还要加上协方差项,σ/√b 会低估真实波动。所以这个公式不是「看到抖动就能套」,它带着一个前提。

用一组固定的数据实测。生成 5000 个 loss 值,固定种子,σ 约 0.2944;然后对不同的 batch 大小各重复抽样 2000 次,看 batch 均值的标准差,再和 σ/√b 对比。

import math, random

random.seed(20261106)
data = [random.gauss(1.0, 0.3) for _ in range(5000)]
m = sum(data) / len(data)
sd = math.sqrt(sum((x - m) ** 2 for x in data) / len(data))
print("N =", len(data), "mean =", round(m, 4), "sd =", round(sd, 4))
for bsz in (8, 32, 128, 512):
    means = [sum(random.sample(data, bsz)) / bsz for _ in range(2000)]
    mb = sum(means) / len(means)
    obs = math.sqrt(sum((x - mb) ** 2 for x in means) / len(means))
    print("b =", bsz, "obs =", round(obs, 4), "theory =", round(sd / math.sqrt(bsz), 4))
N = 5000 mean = 0.9954 sd = 0.2944
b = 8 obs = 0.1041 theory = 0.1041
b = 32 obs = 0.0531 theory = 0.052
b = 128 obs = 0.0257 theory = 0.026
b = 512 obs = 0.0124 theory = 0.013

四组观测和理论基本对得上,差异来自只重复了 2000 次。这张表解释了两件事。第一,抖动幅度按 √b 缩小:batch 从 8 到 32 是 4 倍,噪声减半;从 32 到 512 是 16 倍,噪声降到四分之一。想让噪声减半就要 4 倍 batch,想降到十分之一要 100 倍,代价涨得比收益快。第二,噪声不会因为 batch 变大而消失,只是变小;曲线更顺,不代表模型更好。

batch 越大,均值的分布越窄(同一均值,不同标准差)
b = 8 b = 128 均值

实际训练里还有别的偏差来源:最后一批可能不满,样本按长度排序时同一批长度相近、彼此不独立,数据增强让同一张图每次略有不同。这些都会让 σ/√b 低估真实波动。看到曲线抖,先确认抽样方式,再套公式,顺序不能反。

上面的实验是从 5000 条数据里不放回地抽,严格说标准差还要乘一个有限总体修正因子 √((N−b)/(N−1))。N = 5000、b = 512 时这个因子约为 0.95,所以观测和理论仍然接近;如果 b 接近 N,修正就不能忽略,抽样几乎等于全量,噪声自然趋于 0。

把 batch 从 8 加到 512 是 64 倍,噪声只降到八分之一,显存和单步时间却涨了很多。这就是「加大 batch」的边际收益递减:它买到的是更稳的估计,不是更好的模型。要改进模型,还得靠学习率、正则和数据质量,不能指望把曲线抹平。

一张现象对照表

下面这些现象在训练日志和实验报告里反复出现,原因大多能归到期望、方差或抽样方式上。

现象真实原因第一步查什么
loss 抖动厉害batch 是抽样,batch 均值的标准差是 σ/√b打印每个 batch 的大小和单样本 loss 的离散程度
加大 batch 后变稳噪声按 √b 缩小,4 倍 batch 才减半确认 batch 改动倍数,并同步检查学习率是否需要调整
验证指标每次不同验证集也是样本,点估计本身带抽样误差记录验证集大小,估算均值或比率的误差量级
学习曲线锯齿每步样本不同,噪声盖过了真实趋势画滑动平均,比较平滑前后的趋势是否一致
均值和中位数差很多分布偏斜或有离群值,均值被长尾拉动画直方图,同时报告中位数和分位数
两次实验结论相反差异小于抽样噪声,或数据与超参并不一致固定种子多跑几次,比较均值与波动而不是单次结果
方差算出来偏小忽略协方差项,或把相关样本当成了独立样本检查变量之间是否相关,样本是否按组或按时间聚集

边界与代价

第一,方差对离群值非常敏感。偏差要平方,一个极端值就能主导整个方差。收入、延迟、损失这类重尾数据,偶尔一个超大值会把方差抬高一个量级,让人误以为整体都不稳定。重尾到一定程度,方差甚至不存在,比如柯西分布,理论方差是无穷大,样本方差会随样本量增加而乱跳。

第二,大数定律需要独立同分布,至少需要弱相关和有限期望。样本按用户分组、按时间聚集、按难度排序时,独立性就破了,均值可能收敛到别的值,而不是你以为的那个期望。分布随时间漂移时,连「同一个期望」都不存在,收敛更无从谈起。

第三,标准差只描述波动,不描述形状。均值相同、标准差相同的两个分布,可以是单峰、双峰、左偏、右偏或厚尾。用两个数概括一个分布,必然丢掉形状信息;关心尾部风险时,标准差尤其不够用。

第四,小样本估计不可靠。样本方差本身也是随机变量,n 小的时候它自己的波动很大。除以 n−1 只是修正了偏差,不会消除噪声。拿几十个样本算出来的方差去比较两个方案,结论很容易被下一次抽样推翻。

第五,期望可能不存在。重尾分布的样本均值不稳定,跑得越久跳得越厉害,看起来像程序有问题。这时候中位数、分位数更稳健,代价是它们不满足线性,不能像期望那样随便拆开算。

第六,标准差不可加。哪怕 X 和 Y 独立,σ(X+Y) = √(σx² + σy²),不是 σx + σy。把两个指标的标准差直接相加,会得到一个偏大的数;这个错误在误差预算和指标合成里很常见,和方差的加法记混就会犯。

当天能做的练习

下面五件事都能用标准库完成,做完再看训练日志会清楚很多。

  1. 手算骰子的 E[X] 和 Var(X),写出 E[X²] 的每一步,再用 Fraction 跑一遍核对 35/12。
  2. 构造两个相关的变量,比如 X 是点数、Y = X,验证 E[X+Y] = 2E[X] 成立;再算 E[XY] 和 E[X]E[Y],说明乘积为什么不满足同样的等式。
  3. 用「大于等于 4」和「大于等于 5」两个指示变量,分别算 VarX、VarY、Cov 与 Var(X+Y),再和忽略协方差的相加结果对比,解释差了多少。
  4. 固定种子,跑 100、1000、10000 次的骰子均值,记录三个数;再换一个种子重复,观察「更多样本一定更准」是否成立。
  5. 用同一组 5000 个数据,比较 batch 8、32、128 的均值标准差,和 σ/√b 的理论值对照,算出把噪声降到一半需要多大的 batch。

小结:光有均值和波动还不够

这篇的主线可以压成三句。期望是加权平均,可以逐项相加,不需要独立;方差衡量偏离均值的平方,展开后是 E[X²] − μ²,只有协方差为 0 时才能直接相加;大数定律保证样本均值趋近期望,但收敛不单调,batch 均值的抖动幅度是 σ/√b。

不过均值和方差只是两个摘要。同一个均值、同一个方差,可以是完全不同的形状;要回答「有多少比例落在某个区间」「极端值有多极端」,得知道具体分布。下一篇就讲伯努利、二项、正态和泊松这四种最常用的分布,它们各自解决什么问题,参数怎么定,以及在代码里怎么生成和检验。