训练到第三轮,loss 停在 0.31。代码里那行是 loss = -log(p_y),能跑,梯度也在走,但如果有人问「这个负号和对数是从哪来的」,很多人只能回答「交叉熵,大家都这么写」。再换一种问法:为什么换成它以后,反向传播推出来的梯度正好是 p − y,而均方误差是 2(p − y),两个式子长得像亲戚?

这种「公式能背、来路说不清」的状态很常见。交叉熵不是为分类任务专门发明的经验损失,也不是从信息论里随手借来的名词。它是最大似然估计在伯努利分布和多项分布下的负对数似然:负号来自把「最大化」改成了「最小化」,对数来自把连乘变成连加。每一步都有明确的前提,前提不成立,公式就不再是那个公式。

这篇从似然讲起,把这条链完整走一遍:为什么要取对数、二分类和多分类的式子分别怎么落、熵与 KL 散度在其中扮演什么角色、平方损失为什么也能由最大似然推出来、梯度 p − y 是怎么约分出来的,最后说清楚数值上要注意什么。看完至少能对每一个符号负责。

似然是什么:参数固定,还是数据固定

似然(likelihood)这个词容易把人绕晕。概率描述的是「参数固定时,某件事发生的可能性」;似然反过来,参数是变量,数据已经固定,问的是「在这些参数下,当前这批数据出现的可能性有多大」。写成 L(θ) = P(data | θ)。方向一换,含义就变了:概率对数据求和为 1,似然对参数积分不一定为 1,它只是参数的一个函数。

举个具体的。抛十次硬币,出现七次正面三次反面,记 θ 为正面概率。若 θ = 0.7,似然是 0.77 × 0.33;若 θ = 0.5,是 0.510。哪个参数更像真的,就看哪个让这组结果更可能出现。最大似然(maximum likelihood)做的就是这件事:在参数空间里找使 L(θ) 最大的那个点,记作 θ̂。

theta=0.3  L=0.000075014  logL=-9.497834
theta=0.5  L=0.000976562  logL=-6.931472
theta=0.7  L=0.002223566  logL=-6.108643
theta=0.9  L=0.000478297  logL=-7.645279

θ=0.7 的似然最大,和直观一致。θ=0.3 时只有 7.5×10⁻⁵,比最大值小了近三十倍;样本一多,这个连乘就会下溢,所以后面要取对数。

连续变量要用概率密度代替概率。密度不是概率,可以大于 1,单个点也没有「发生可能性」的含义;但在似然里用法一样,都是把密度值当成 θ 的函数来比较。换变量时密度会乘上雅可比,似然值会变,最优参数的位置不会凭空移动;所以跨预处理比较 loss 没有意义。

不要把似然理解成「模型正确的概率」。它衡量的是「这个参数生成当前数据的相对合理性」,不涉及参数本身的先验。要把先验算进来,那是上一篇讲过的贝叶斯视角。

取对数:把连乘变成连加

真实数据不是一次抛硬币,而是 n 个样本。要求联合概率,就得先知道样本之间怎么依赖。最常用的假设是独立同分布(i.i.d.):每个样本相互独立,而且来自同一个分布。独立让联合概率分解成连乘,同分布让所有样本共享同一组参数 θ。

L(θ) = ∏ p(x_i; θ) = p(x_1; θ) × p(x_2; θ) × ... × p(x_n; θ)

连乘有两个麻烦。一是数值下溢:一千个 0.01 乘起来是 10⁻²⁰⁰⁰,双精度浮点早就变成 0,之后再取对数只能得到负无穷。二是求导不方便:乘积的导数要用乘法法则,n 项展开成 n 项和,推起来很乱。取对数一次解决两个问题:

log L(θ) = Σ log p(x_i; θ)

因为对数单调递增,log L 和 L 在同一个 θ 处取最大值,argmax 不变。这就是「最大化对数似然」和「最大化似然」等价的全部理由,没有别的魔法。工程上更常用的是平均负对数似然:

NLL(θ) = -(1/n) Σ log p(x_i; θ)

取负号是把「找最大」改成「找最小」,除以 n 让不同批量大小下的损失可比。两步都不改变最优解,只改变读数和梯度尺度。所以 loss 报 0.39 还是 3.9,本身不说明模型好坏。

i.i.d. 是假设,不是定理。用户行为有序列相关、样本按时间采集、一条数据影响下一条,联合分布就不能拆成连乘。这时还套上面的公式,得到的是「假装独立」的似然,参数估计会有偏。

二分类:伯努利似然给出的交叉熵

二分类里,标签 y 取 0 或 1,模型输出 p 是「y=1 的概率」。这正是伯努利分布:P(y | p) = py(1−p)1−y。代进似然,对 n 个独立样本取负对数,就得到二分类交叉熵:

NLL = -Σ [ y_i log p_i + (1 - y_i) log(1 - p_i) ]

逐项看,y_i log p_i 和 (1−y_i) log(1−p_i) 永远只有一项生效:标签是 1 时,第二项乘了 0;标签是 0 时,第一项乘了 0。所以每条样本的损失,本质上就是「模型给真实类别的概率取对数,再加负号」。

y=1 时

只剩 −log p。p 越接近 1,损失越接近 0;p 接近 0,损失冲向正无穷。模型越自信地错,罚得越重。

y=0 时

只剩 −log(1−p)。p 越接近 0 越好。罚的仍然是「给真实类别的概率」,只是在二分类里,它等价于「给错误类别的概率太高」。

拿五个样本真跑一遍,p 分别取 0.8、0.3、0.7、0.6、0.4,对应标签 1、0、1、1、0:

y=[1,0,1,1,0]  p=[0.8,0.3,0.7,0.6,0.4]
每项 loss: [0.223144, 0.356675, 0.356675, 0.510826, 0.510826]
平均 NLL: 0.391629

每个数都能对上 −log:y=1、p=0.8 时 −log 0.8 = 0.223144;y=0、p=0.3 时 −log 0.7 = 0.356675。平均 0.391629。当 p 恰好 0.5 时,单样本损失是 −log 0.5 = 0.693147,正好是 ln 2,可以拿来心算校验。

为什么不用「预测正确率」当损失?因为它对概率不敏感:p 从 0.51 改到 0.99,准确率没变,梯度却是 0。交叉熵要求模型不仅分对,还要把概率推上去;干净数据上这是优点,标签有噪声时它会逼模型对错标签也过度自信。

多分类:softmax 加负对数似然

多分类把伯努利换成多项分布。模型输出 K 个 logits z,softmax 把它们变成概率:

p_k = exp(z_k) / Σ_j exp(z_j)

标签 y 通常是 one-hot 向量,真实类别那一维是 1,其余是 0。负对数似然写成求和形式:

CE(y, p) = -Σ_k y_k log p_k = -log p_y

第二个等号只在 one-hot 时成立,因为求和里只有真实类别那一项留下来。如果标签是软标签,比如蒸馏里的教师分布、标签平滑后的 0.9 和 0.1,就必须按求和式算,不能图省事只取 p_y,否则损失会偏小,梯度也不对。

用一组具体的分布真跑:真实分布 p = (0.2, 0.5, 0.3),模型给出 q = (0.1, 0.6, 0.3)。

H(y,p) = 1.077122
逐项: [0.460517, 0.255413, 0.361192]

三项分别是 −0.2 log 0.1、−0.5 log 0.6、−0.3 log 0.3。第二项最小,因为模型在真实概率最高的那一类上给出的概率也高;第一项最大,真实概率 0.2 的那一类被压到了 0.1。这组数说明交叉熵罚的是「把真实分布里占比大的类压得低」,而不是简单地数错几个。模型可以每一类都预测得很平均,交叉熵依然不低。

这里有个常被混淆的点:多分类用 softmax 加交叉熵,多标签用 sigmoid 加二元交叉熵,不是同一套东西。对 K 个类各做一次 sigmoid 再加 BCE,得到 K 个独立二分类损失之和,允许概率加起来不等于 1,适合一张图里同时有猫和狗。互斥的多分类必须用 softmax 加交叉熵。选错了不会报错,训练也能动,只是目标和问题不匹配。

交叉熵等于熵加 KL 散度

把交叉熵拆开,会看到一个更清楚的结构。设真实分布 p,模型分布 q,两者都在同一组事件上:

H(p, q) = -Σ p log q
        = -Σ p log p + Σ p log(p / q)
        = H(p) + KL(p || q)

第一项是真实分布自己的熵 H(p) = -Σ p log p,它只跟数据有关,跟模型无关。第二项是 KL 散度(Kullback-Leibler divergence),衡量两个分布差多远。KL 有个基本性质:非负,且只在 p = q 时为 0。理由一行就能写出来,由 Jensen 不等式,E[log X] ≤ log E[X]:

KL(p||q) = -E_p[log(q/p)] ≥ -log E_p[q/p] = -log 1 = 0

所以最小化交叉熵,等价于最小化 KL,也就是把模型分布往真实分布拉。真实分布固定时,H(p) 是常数,动不了;交叉熵的下降空间只有 KL 那一块。

H(p)数据本身的熵。标签噪声越大、类别越平均,它越大。它是交叉熵的下限,模型再完美也压不到它下面。
KL(p||q)模型分布和真实分布的差距。训练真正能压下去的就是这一块,压到 0 表示模型完全复现了真实分布。
H(p,q)两项相加,就是代码里报出的交叉熵损失。它同时包含「数据有多难」和「模型差多远」。
H(p) = 1.029653
KL(p||q) = 0.047469
H(p)+KL = 1.077122
H(p,q) = 1.077122
差 = -0.0

差是 -0.0,浮点误差级别。这组数还说明一件事:交叉熵不可能降到 0,只要数据本身的熵不为 0。一个模型在标签噪声任务上 loss 卡在 1.03 附近不动,不是优化器坏了,而是已经贴到 H(p) 这个地板。判断「还能不能降」,先估一下标签熵,比盯着 loss 曲线有用。

KL 不对称:同一组 p 和 q,KL(p||q) = 0.047469,反过来 KL(q||p) = 0.040078。交叉熵用的永远是真实分布在前的方向,写反了数值和梯度都不一样。

高斯假设下,最大似然就是最小均方误差

平方损失看起来和概率无关,其实也能从最大似然推出来。假设每个样本的观测值由 x_i = μ + ε_i 产生,噪声 ε_i 独立且服从均值为 0、方差为 σ² 的高斯分布。单样本的对数密度是:

log p(x_i; μ, σ²) = -0.5 log(2πσ²) - (x_i - μ)² / (2σ²)

对 n 个样本求和:

log L = -n/2 log(2πσ²) - (1/(2σ²)) Σ (x_i - μ)²

固定 σ 时,第一项与 μ 无关,最大化 log L 就是最小化 Σ (x_i − μ)²,也就是最小化均方误差。除以 n 只是换了个常数因子,最优的 μ 不变。所以「MSE 是拍脑袋定的」这个说法不对:它等价于假设噪声是高斯的最大似然。反过来说,数据里有重尾噪声或离群点时,高斯假设不成立,MSE 会被少数极端值拖着走,这时该换损失,而不是怪优化器。

顺带把 σ 也估了。对 σ² 求导令其为 0,得到 σ̂² = (1/n) Σ (x_i − μ̂)²,除的是 n,不是 n−1。这就是最大似然的结果,它有偏;无偏版本才除 n−1。用固定种子 20261106 生成 8 个高斯样本真跑:

样本: [4.488754, 4.308231, 5.259561, 7.760712, 1.78784, 11.297362, 5.224802, 4.793007]
mu_hat = 5.615034
sigma2_hat = 6.933851
无偏方差 = 7.924401

样本均值 5.615034,和真实均值 5 差了 0.615;MLE 方差 6.933851 比无偏估计 7.924401 小,这是除以 n 的必然结果,不是算错了。样本只有 8 个,两个估计都不稳,这也预告了为什么需要验证集:参数在训练样本上的最优,不等于在总体上的最优。

梯度为什么正好是 p − y

现在推梯度。设 logits 为 z,softmax 输出 p,损失是 −log p_y。对某个 logit z_k 求偏导,用链式法则拆成两步:损失对概率的偏导,乘概率对 logit 的偏导。第一步:

∂(-log p_y)/∂p_i = -1/p_y   当 i = y
                 = 0        其它

第二步是 softmax 的雅可比矩阵:

∂p_i/∂z_k = p_i (δ_ik - p_k)

其中 δ_ik 在 i = k 时为 1,否则为 0。两步相乘,只有 i = y 的那一项存活:

∂L/∂z_k = -(1/p_y) · p_y (δ_yk - p_k)
        = p_k - δ_yk
        = p_k - y_k

写成向量就是 p − y。整个推导里 p_y 被约掉,是结果干净的原因;也正因为约掉了,即使 p_y 很小,梯度也不会爆炸,单类绝对值不超过 1。一批样本取平均,就是 mean(p − y)。

数值核对一下。取 logits (0.5, 1.2, −0.3),标签是第 1 类,下标从 0 数,即 one-hot (0, 1, 0):

softmax: [0.28876, 0.581492, 0.129748]
p - y: [0.28876, -0.418508, 0.129748]
数值梯度 z[0] =  0.288760
数值梯度 z[1] = -0.418508
数值梯度 z[2] =  0.129748
loss = 0.542159

中心差分数值梯度和解析式每一位都对上。这里有个容易搞错的地方:p − y 是对 logits 求导的结果;如果直接对概率求导,得到的是 −y/p,形式完全不同。框架里交叉熵损失接的是 logits,不是 softmax 后的概率,原因就在这里:它内部用 log-sum-exp 把两步合并,既稳又省一次 softmax。

负对数损失随预测概率的变化
p loss 0.5 1.0 1 3

图的形状是左边那一堵墙:p 越接近 0,损失上升越快,且没有上界。所以一条「自信地错」的样本能贡献巨大损失,一条错标标签就能把整批平均损失拽起来。

数值稳定:log 0 与 log-sum-exp

概率为 0 时,log 0 是负无穷。Python 的 math.log(0.0) 直接抛 ValueError,numpy 给 −inf,接着算梯度就会得到 nan。比 log 0 更隐蔽的是 exp 溢出:logits 一大,exp(1000) 超出双精度范围,变成 inf,inf 除以 inf 就是 nan,整条训练链断掉。

直接 exp 溢出: OverflowError math range error
平移后 exp: [0.367879, 1.0, 0.135335] 和 = 1.503215
log-sum-exp = 1001.407606
softmax = [0.244728, 0.665241, 0.090031]

做法是先减去最大值。softmax 对全体 logits 加同一个常数结果不变,因为分子分母同乘 exp(c) 会约掉;所以令 m = max(z),算 exp(z_i − m),最大那一项变成 1,不会溢出,其余项落在 0 到 1 之间。再算 m + log Σ exp(z_i − m),就是 log-sum-exp。上面输出里,平移后最大项正好是 1.0,softmax 三项加起来是 1。

交叉熵要在对数域里算:log p_y = z_y − logsumexp(z),不要先算 p 再取 log。框架里的 log_softmax 加负对数似然就是这个组合,数值上比「softmax 再 log」稳得多,也省一次除法。把概率裁到 [1e−7, 1−1e−7] 是兜底手段,不是首选:裁剪会改变梯度,模型会学会把概率顶在裁剪边界上,损失看起来正常,概率却不再校准。

出现 nan 时,先打印 logits 的最大值、最小值和标签范围,再检查是不是在 softmax 之前忘了减最大值。不要在损失外面套一个 nan_to_num 把问题盖住,那只会让错误传播到参数里。

还有一类 nan 来自标签本身:标签越界、标签是 −1(有些框架用它表示忽略)、batch 里混进空样本。这类问题查输入比查公式快。

一张现象对照表

下面这些现象在训练日志里很常见,原因大多能回到似然这条链上。

现象真实原因第一步查什么
loss 变成 nanlog 0、exp 溢出,或标签越界打印 logits 的最值和标签范围,确认 softmax 前减了最大值
loss 不降,卡在某个正数已经贴到标签熵 H(p) 的地板,或学习率过大、容量不足先估标签熵,再看梯度范数和学习率
预测全押一个类类别极度不平衡,交叉熵被多数类主导看混淆矩阵和各类损失占比,试类别权重
交叉熵降了但准确率不动交叉熵优化概率质量,准确率只看 argmax,两者可以背离同时打印平均置信度、准确率和校准误差
用了 −log p_y,但标签是软标签忽略了非真实类别的项,目标和数据不一致检查标签是否 one-hot,改用求和式
梯度推成 p−y 但对不上logits 顺序和标签索引不一致,或 batch 平均方式不同用单个样本做数值梯度核对,对齐类别顺序
训练损失一路降,验证损失抬头过拟合,训练集上的似然不代表新样本看两条曲线分叉的位置,再决定加数据还是加正则

边界与代价

第一,整套推导建立在 i.i.d. 上。样本有相关性、分布随时间漂移、采集方式有偏,似然就不是那个连乘。模型仍然能训练,损失仍然会降,但它优化的是错误的联合分布,偏差不会出现在训练日志里。

第二,最大似然估计的是「最像数据的参数」,不是「最接近真相的参数」。模型族本身不包含真实分布时,MLE 会收敛到 KL 意义下离真实分布最近的那个点,这个点可能系统性地错。数据再多也只能把这个错估得更精确,不能把模型族补全。

第三,标签噪声下会过拟合。交叉熵会逼模型把错标签也拟合到高置信度,训练损失下降,概率却越来越不校准。这时需要标签平滑、噪声鲁棒损失或重新标注,光调学习率没有用。判断依据不是 loss,而是可靠性图或期望校准误差。

第四,交叉熵不等于业务指标。它关心概率质量,业务关心排序、召回或误杀成本。类别不平衡时,交叉熵很低的模型可能对少数类几乎全错,要把两者一起看。

第五,连续密度下的似然值依赖数据表示。同一批数据取对数变换后再算高斯似然,密度会多出一个雅可比项,交叉熵的数值随之改变,不同预处理之间的 loss 不能直接比较。要比较模型,先固定数据表示和标签定义。

第六,大词表上的 softmax 很贵,采样 softmax 和负采样是对真实似然的近似,不是精确的最大似然。近似会带来偏差,词表分布越偏,偏差越明显。这些方法能跑,但不能说「我在优化交叉熵」而不加限定。

当天可以自己验证的练习

  1. 手算二分类负对数似然:y=1, p=0.9 和 y=0, p=0.9,先用 −log 估一下,再跑代码核对,标准答案是 0.105361 和 2.302585。
  2. 算两组分布的交叉熵:p=(0.2,0.5,0.3)、q=(0.1,0.6,0.3),验证结果是 1.077122;再把 q 改成 (0.3,0.3,0.4),解释为什么变大。
  3. 随机生成两组归一化的分布,验证 H(p,q) = H(p) + KL(p||q),把两边的差打印出来,确认在 10⁻¹² 量级。
  4. 对 z=(0.5,1.2,−0.3)、one-hot 标签 (0,1,0),用 ε=1e−6 的中心差分核对 p−y,三位都要对上。
  5. 用 z=(1000,1001,999) 直接算 exp,看它抛出什么;再减去最大值算 log-sum-exp,核对 softmax 是 (0.244728, 0.665241, 0.090031)。

小结:训练集上的最优,只是训练集上的最优

把这篇的主线压成四句:似然是「参数取什么值时,这批数据最可能出现」;独立同分布让联合概率变成连乘,取对数把连乘变成连加,且不改变最优解;伯努利和多项分布的负对数似然分别给出二分类和多分类交叉熵;交叉熵等于数据熵加 KL,最小化它就是把模型分布往真实分布拉。平方损失也不是另一套东西,它是高斯噪声假设下的同一个似然。

但这条链有一个共同前提:所有样本都来自训练集。最大似然找的是让已见样本最可能的参数,没有义务对没见过的样本好。训练集上的最优,换到新数据上可能立刻变差,这就是过拟合。下一篇讲训练集、验证集、测试集为什么要分开,以及数据泄漏是怎么把验证分数做高的。