训练到第三轮,loss 停在 0.31。代码里那行是 loss = -log(p_y),能跑,梯度也在走,但如果有人问「这个负号和对数是从哪来的」,很多人只能回答「交叉熵,大家都这么写」。再换一种问法:为什么换成它以后,反向传播推出来的梯度正好是 p − y,而均方误差是 2(p − y),两个式子长得像亲戚?
这种「公式能背、来路说不清」的状态很常见。交叉熵不是为分类任务专门发明的经验损失,也不是从信息论里随手借来的名词。它是最大似然估计在伯努利分布和多项分布下的负对数似然:负号来自把「最大化」改成了「最小化」,对数来自把连乘变成连加。每一步都有明确的前提,前提不成立,公式就不再是那个公式。
这篇从似然讲起,把这条链完整走一遍:为什么要取对数、二分类和多分类的式子分别怎么落、熵与 KL 散度在其中扮演什么角色、平方损失为什么也能由最大似然推出来、梯度 p − y 是怎么约分出来的,最后说清楚数值上要注意什么。看完至少能对每一个符号负责。
似然是什么:参数固定,还是数据固定
似然(likelihood)这个词容易把人绕晕。概率描述的是「参数固定时,某件事发生的可能性」;似然反过来,参数是变量,数据已经固定,问的是「在这些参数下,当前这批数据出现的可能性有多大」。写成 L(θ) = P(data | θ)。方向一换,含义就变了:概率对数据求和为 1,似然对参数积分不一定为 1,它只是参数的一个函数。
举个具体的。抛十次硬币,出现七次正面三次反面,记 θ 为正面概率。若 θ = 0.7,似然是 0.77 × 0.33;若 θ = 0.5,是 0.510。哪个参数更像真的,就看哪个让这组结果更可能出现。最大似然(maximum likelihood)做的就是这件事:在参数空间里找使 L(θ) 最大的那个点,记作 θ̂。
theta=0.3 L=0.000075014 logL=-9.497834
theta=0.5 L=0.000976562 logL=-6.931472
theta=0.7 L=0.002223566 logL=-6.108643
theta=0.9 L=0.000478297 logL=-7.645279
θ=0.7 的似然最大,和直观一致。θ=0.3 时只有 7.5×10⁻⁵,比最大值小了近三十倍;样本一多,这个连乘就会下溢,所以后面要取对数。
连续变量要用概率密度代替概率。密度不是概率,可以大于 1,单个点也没有「发生可能性」的含义;但在似然里用法一样,都是把密度值当成 θ 的函数来比较。换变量时密度会乘上雅可比,似然值会变,最优参数的位置不会凭空移动;所以跨预处理比较 loss 没有意义。
取对数:把连乘变成连加
真实数据不是一次抛硬币,而是 n 个样本。要求联合概率,就得先知道样本之间怎么依赖。最常用的假设是独立同分布(i.i.d.):每个样本相互独立,而且来自同一个分布。独立让联合概率分解成连乘,同分布让所有样本共享同一组参数 θ。
L(θ) = ∏ p(x_i; θ) = p(x_1; θ) × p(x_2; θ) × ... × p(x_n; θ)
连乘有两个麻烦。一是数值下溢:一千个 0.01 乘起来是 10⁻²⁰⁰⁰,双精度浮点早就变成 0,之后再取对数只能得到负无穷。二是求导不方便:乘积的导数要用乘法法则,n 项展开成 n 项和,推起来很乱。取对数一次解决两个问题:
log L(θ) = Σ log p(x_i; θ)
因为对数单调递增,log L 和 L 在同一个 θ 处取最大值,argmax 不变。这就是「最大化对数似然」和「最大化似然」等价的全部理由,没有别的魔法。工程上更常用的是平均负对数似然:
NLL(θ) = -(1/n) Σ log p(x_i; θ)
取负号是把「找最大」改成「找最小」,除以 n 让不同批量大小下的损失可比。两步都不改变最优解,只改变读数和梯度尺度。所以 loss 报 0.39 还是 3.9,本身不说明模型好坏。
i.i.d. 是假设,不是定理。用户行为有序列相关、样本按时间采集、一条数据影响下一条,联合分布就不能拆成连乘。这时还套上面的公式,得到的是「假装独立」的似然,参数估计会有偏。
二分类:伯努利似然给出的交叉熵
二分类里,标签 y 取 0 或 1,模型输出 p 是「y=1 的概率」。这正是伯努利分布:P(y | p) = py(1−p)1−y。代进似然,对 n 个独立样本取负对数,就得到二分类交叉熵:
NLL = -Σ [ y_i log p_i + (1 - y_i) log(1 - p_i) ]
逐项看,y_i log p_i 和 (1−y_i) log(1−p_i) 永远只有一项生效:标签是 1 时,第二项乘了 0;标签是 0 时,第一项乘了 0。所以每条样本的损失,本质上就是「模型给真实类别的概率取对数,再加负号」。
y=1 时
只剩 −log p。p 越接近 1,损失越接近 0;p 接近 0,损失冲向正无穷。模型越自信地错,罚得越重。
y=0 时
只剩 −log(1−p)。p 越接近 0 越好。罚的仍然是「给真实类别的概率」,只是在二分类里,它等价于「给错误类别的概率太高」。
拿五个样本真跑一遍,p 分别取 0.8、0.3、0.7、0.6、0.4,对应标签 1、0、1、1、0:
y=[1,0,1,1,0] p=[0.8,0.3,0.7,0.6,0.4]
每项 loss: [0.223144, 0.356675, 0.356675, 0.510826, 0.510826]
平均 NLL: 0.391629
每个数都能对上 −log:y=1、p=0.8 时 −log 0.8 = 0.223144;y=0、p=0.3 时 −log 0.7 = 0.356675。平均 0.391629。当 p 恰好 0.5 时,单样本损失是 −log 0.5 = 0.693147,正好是 ln 2,可以拿来心算校验。
为什么不用「预测正确率」当损失?因为它对概率不敏感:p 从 0.51 改到 0.99,准确率没变,梯度却是 0。交叉熵要求模型不仅分对,还要把概率推上去;干净数据上这是优点,标签有噪声时它会逼模型对错标签也过度自信。
多分类:softmax 加负对数似然
多分类把伯努利换成多项分布。模型输出 K 个 logits z,softmax 把它们变成概率:
p_k = exp(z_k) / Σ_j exp(z_j)
标签 y 通常是 one-hot 向量,真实类别那一维是 1,其余是 0。负对数似然写成求和形式:
CE(y, p) = -Σ_k y_k log p_k = -log p_y
第二个等号只在 one-hot 时成立,因为求和里只有真实类别那一项留下来。如果标签是软标签,比如蒸馏里的教师分布、标签平滑后的 0.9 和 0.1,就必须按求和式算,不能图省事只取 p_y,否则损失会偏小,梯度也不对。
用一组具体的分布真跑:真实分布 p = (0.2, 0.5, 0.3),模型给出 q = (0.1, 0.6, 0.3)。
H(y,p) = 1.077122
逐项: [0.460517, 0.255413, 0.361192]
三项分别是 −0.2 log 0.1、−0.5 log 0.6、−0.3 log 0.3。第二项最小,因为模型在真实概率最高的那一类上给出的概率也高;第一项最大,真实概率 0.2 的那一类被压到了 0.1。这组数说明交叉熵罚的是「把真实分布里占比大的类压得低」,而不是简单地数错几个。模型可以每一类都预测得很平均,交叉熵依然不低。
这里有个常被混淆的点:多分类用 softmax 加交叉熵,多标签用 sigmoid 加二元交叉熵,不是同一套东西。对 K 个类各做一次 sigmoid 再加 BCE,得到 K 个独立二分类损失之和,允许概率加起来不等于 1,适合一张图里同时有猫和狗。互斥的多分类必须用 softmax 加交叉熵。选错了不会报错,训练也能动,只是目标和问题不匹配。
交叉熵等于熵加 KL 散度
把交叉熵拆开,会看到一个更清楚的结构。设真实分布 p,模型分布 q,两者都在同一组事件上:
H(p, q) = -Σ p log q
= -Σ p log p + Σ p log(p / q)
= H(p) + KL(p || q)
第一项是真实分布自己的熵 H(p) = -Σ p log p,它只跟数据有关,跟模型无关。第二项是 KL 散度(Kullback-Leibler divergence),衡量两个分布差多远。KL 有个基本性质:非负,且只在 p = q 时为 0。理由一行就能写出来,由 Jensen 不等式,E[log X] ≤ log E[X]:
KL(p||q) = -E_p[log(q/p)] ≥ -log E_p[q/p] = -log 1 = 0
所以最小化交叉熵,等价于最小化 KL,也就是把模型分布往真实分布拉。真实分布固定时,H(p) 是常数,动不了;交叉熵的下降空间只有 KL 那一块。
H(p) = 1.029653
KL(p||q) = 0.047469
H(p)+KL = 1.077122
H(p,q) = 1.077122
差 = -0.0
差是 -0.0,浮点误差级别。这组数还说明一件事:交叉熵不可能降到 0,只要数据本身的熵不为 0。一个模型在标签噪声任务上 loss 卡在 1.03 附近不动,不是优化器坏了,而是已经贴到 H(p) 这个地板。判断「还能不能降」,先估一下标签熵,比盯着 loss 曲线有用。
KL 不对称:同一组 p 和 q,KL(p||q) = 0.047469,反过来 KL(q||p) = 0.040078。交叉熵用的永远是真实分布在前的方向,写反了数值和梯度都不一样。
高斯假设下,最大似然就是最小均方误差
平方损失看起来和概率无关,其实也能从最大似然推出来。假设每个样本的观测值由 x_i = μ + ε_i 产生,噪声 ε_i 独立且服从均值为 0、方差为 σ² 的高斯分布。单样本的对数密度是:
log p(x_i; μ, σ²) = -0.5 log(2πσ²) - (x_i - μ)² / (2σ²)
对 n 个样本求和:
log L = -n/2 log(2πσ²) - (1/(2σ²)) Σ (x_i - μ)²
固定 σ 时,第一项与 μ 无关,最大化 log L 就是最小化 Σ (x_i − μ)²,也就是最小化均方误差。除以 n 只是换了个常数因子,最优的 μ 不变。所以「MSE 是拍脑袋定的」这个说法不对:它等价于假设噪声是高斯的最大似然。反过来说,数据里有重尾噪声或离群点时,高斯假设不成立,MSE 会被少数极端值拖着走,这时该换损失,而不是怪优化器。
顺带把 σ 也估了。对 σ² 求导令其为 0,得到 σ̂² = (1/n) Σ (x_i − μ̂)²,除的是 n,不是 n−1。这就是最大似然的结果,它有偏;无偏版本才除 n−1。用固定种子 20261106 生成 8 个高斯样本真跑:
样本: [4.488754, 4.308231, 5.259561, 7.760712, 1.78784, 11.297362, 5.224802, 4.793007]
mu_hat = 5.615034
sigma2_hat = 6.933851
无偏方差 = 7.924401
样本均值 5.615034,和真实均值 5 差了 0.615;MLE 方差 6.933851 比无偏估计 7.924401 小,这是除以 n 的必然结果,不是算错了。样本只有 8 个,两个估计都不稳,这也预告了为什么需要验证集:参数在训练样本上的最优,不等于在总体上的最优。
梯度为什么正好是 p − y
现在推梯度。设 logits 为 z,softmax 输出 p,损失是 −log p_y。对某个 logit z_k 求偏导,用链式法则拆成两步:损失对概率的偏导,乘概率对 logit 的偏导。第一步:
∂(-log p_y)/∂p_i = -1/p_y 当 i = y
= 0 其它
第二步是 softmax 的雅可比矩阵:
∂p_i/∂z_k = p_i (δ_ik - p_k)
其中 δ_ik 在 i = k 时为 1,否则为 0。两步相乘,只有 i = y 的那一项存活:
∂L/∂z_k = -(1/p_y) · p_y (δ_yk - p_k)
= p_k - δ_yk
= p_k - y_k
写成向量就是 p − y。整个推导里 p_y 被约掉,是结果干净的原因;也正因为约掉了,即使 p_y 很小,梯度也不会爆炸,单类绝对值不超过 1。一批样本取平均,就是 mean(p − y)。
数值核对一下。取 logits (0.5, 1.2, −0.3),标签是第 1 类,下标从 0 数,即 one-hot (0, 1, 0):
softmax: [0.28876, 0.581492, 0.129748]
p - y: [0.28876, -0.418508, 0.129748]
数值梯度 z[0] = 0.288760
数值梯度 z[1] = -0.418508
数值梯度 z[2] = 0.129748
loss = 0.542159
中心差分数值梯度和解析式每一位都对上。这里有个容易搞错的地方:p − y 是对 logits 求导的结果;如果直接对概率求导,得到的是 −y/p,形式完全不同。框架里交叉熵损失接的是 logits,不是 softmax 后的概率,原因就在这里:它内部用 log-sum-exp 把两步合并,既稳又省一次 softmax。
图的形状是左边那一堵墙:p 越接近 0,损失上升越快,且没有上界。所以一条「自信地错」的样本能贡献巨大损失,一条错标标签就能把整批平均损失拽起来。
数值稳定:log 0 与 log-sum-exp
概率为 0 时,log 0 是负无穷。Python 的 math.log(0.0) 直接抛 ValueError,numpy 给 −inf,接着算梯度就会得到 nan。比 log 0 更隐蔽的是 exp 溢出:logits 一大,exp(1000) 超出双精度范围,变成 inf,inf 除以 inf 就是 nan,整条训练链断掉。
直接 exp 溢出: OverflowError math range error
平移后 exp: [0.367879, 1.0, 0.135335] 和 = 1.503215
log-sum-exp = 1001.407606
softmax = [0.244728, 0.665241, 0.090031]
做法是先减去最大值。softmax 对全体 logits 加同一个常数结果不变,因为分子分母同乘 exp(c) 会约掉;所以令 m = max(z),算 exp(z_i − m),最大那一项变成 1,不会溢出,其余项落在 0 到 1 之间。再算 m + log Σ exp(z_i − m),就是 log-sum-exp。上面输出里,平移后最大项正好是 1.0,softmax 三项加起来是 1。
交叉熵要在对数域里算:log p_y = z_y − logsumexp(z),不要先算 p 再取 log。框架里的 log_softmax 加负对数似然就是这个组合,数值上比「softmax 再 log」稳得多,也省一次除法。把概率裁到 [1e−7, 1−1e−7] 是兜底手段,不是首选:裁剪会改变梯度,模型会学会把概率顶在裁剪边界上,损失看起来正常,概率却不再校准。
nan_to_num 把问题盖住,那只会让错误传播到参数里。还有一类 nan 来自标签本身:标签越界、标签是 −1(有些框架用它表示忽略)、batch 里混进空样本。这类问题查输入比查公式快。
一张现象对照表
下面这些现象在训练日志里很常见,原因大多能回到似然这条链上。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| loss 变成 nan | log 0、exp 溢出,或标签越界 | 打印 logits 的最值和标签范围,确认 softmax 前减了最大值 |
| loss 不降,卡在某个正数 | 已经贴到标签熵 H(p) 的地板,或学习率过大、容量不足 | 先估标签熵,再看梯度范数和学习率 |
| 预测全押一个类 | 类别极度不平衡,交叉熵被多数类主导 | 看混淆矩阵和各类损失占比,试类别权重 |
| 交叉熵降了但准确率不动 | 交叉熵优化概率质量,准确率只看 argmax,两者可以背离 | 同时打印平均置信度、准确率和校准误差 |
用了 −log p_y,但标签是软标签 | 忽略了非真实类别的项,目标和数据不一致 | 检查标签是否 one-hot,改用求和式 |
| 梯度推成 p−y 但对不上 | logits 顺序和标签索引不一致,或 batch 平均方式不同 | 用单个样本做数值梯度核对,对齐类别顺序 |
| 训练损失一路降,验证损失抬头 | 过拟合,训练集上的似然不代表新样本 | 看两条曲线分叉的位置,再决定加数据还是加正则 |
边界与代价
第一,整套推导建立在 i.i.d. 上。样本有相关性、分布随时间漂移、采集方式有偏,似然就不是那个连乘。模型仍然能训练,损失仍然会降,但它优化的是错误的联合分布,偏差不会出现在训练日志里。
第二,最大似然估计的是「最像数据的参数」,不是「最接近真相的参数」。模型族本身不包含真实分布时,MLE 会收敛到 KL 意义下离真实分布最近的那个点,这个点可能系统性地错。数据再多也只能把这个错估得更精确,不能把模型族补全。
第三,标签噪声下会过拟合。交叉熵会逼模型把错标签也拟合到高置信度,训练损失下降,概率却越来越不校准。这时需要标签平滑、噪声鲁棒损失或重新标注,光调学习率没有用。判断依据不是 loss,而是可靠性图或期望校准误差。
第四,交叉熵不等于业务指标。它关心概率质量,业务关心排序、召回或误杀成本。类别不平衡时,交叉熵很低的模型可能对少数类几乎全错,要把两者一起看。
第五,连续密度下的似然值依赖数据表示。同一批数据取对数变换后再算高斯似然,密度会多出一个雅可比项,交叉熵的数值随之改变,不同预处理之间的 loss 不能直接比较。要比较模型,先固定数据表示和标签定义。
第六,大词表上的 softmax 很贵,采样 softmax 和负采样是对真实似然的近似,不是精确的最大似然。近似会带来偏差,词表分布越偏,偏差越明显。这些方法能跑,但不能说「我在优化交叉熵」而不加限定。
当天可以自己验证的练习
- 手算二分类负对数似然:
y=1, p=0.9和y=0, p=0.9,先用−log估一下,再跑代码核对,标准答案是 0.105361 和 2.302585。 - 算两组分布的交叉熵:
p=(0.2,0.5,0.3)、q=(0.1,0.6,0.3),验证结果是 1.077122;再把 q 改成(0.3,0.3,0.4),解释为什么变大。 - 随机生成两组归一化的分布,验证
H(p,q) = H(p) + KL(p||q),把两边的差打印出来,确认在 10⁻¹² 量级。 - 对
z=(0.5,1.2,−0.3)、one-hot 标签(0,1,0),用ε=1e−6的中心差分核对p−y,三位都要对上。 - 用
z=(1000,1001,999)直接算exp,看它抛出什么;再减去最大值算 log-sum-exp,核对 softmax 是(0.244728, 0.665241, 0.090031)。
小结:训练集上的最优,只是训练集上的最优
把这篇的主线压成四句:似然是「参数取什么值时,这批数据最可能出现」;独立同分布让联合概率变成连乘,取对数把连乘变成连加,且不改变最优解;伯努利和多项分布的负对数似然分别给出二分类和多分类交叉熵;交叉熵等于数据熵加 KL,最小化它就是把模型分布往真实分布拉。平方损失也不是另一套东西,它是高斯噪声假设下的同一个似然。
但这条链有一个共同前提:所有样本都来自训练集。最大似然找的是让已见样本最可能的参数,没有义务对没见过的样本好。训练集上的最优,换到新数据上可能立刻变差,这就是过拟合。下一篇讲训练集、验证集、测试集为什么要分开,以及数据泄漏是怎么把验证分数做高的。