内部标注集上准确率 99.2%,上线一周,客服反馈同一个类别大量误判。翻训练数据:图片几乎都来自同一台相机、同一个拍摄背景;验证集是按图片随机切分的,同一场景的连拍同时进了训练和验证。线上换了设备,背景变了,指标直接塌掉。另一个人汇报「准确率 95%」,追问才知道是 top-5,被当成 top-1 用了。
这两个问题都不在模型结构里。一个出在数据划分,一个出在指标口径。分类任务的最后一公里,往往不是「网络不够深」,而是「你测的东西和你以为的东西不是一回事」。这篇把一张图从网络输出到最终判断的过程拆开:分数怎么变成概率,损失怎么算,指标怎么报,验证集为什么会骗人,温度又改了什么。
logits:网络最后吐出的那组分数
分类网络最后通常接一个全连接层,输出节点数等于类别数。每个节点给出一个实数,叫 logit,也叫未归一化分数。它不是概率,可以是负数,可以大于 1,加起来也不等于 1。它只表示网络对每个类别的「偏好强度」,大小关系和排序才有意义。
logit 的绝对值没有天然含义。换个初始化、换批数据、换训练轮次,整体可能平移或缩放,但排序不变。这就是为什么很多推理代码只取最大值的索引,不关心具体数值。也正因为如此,直接把 logit 当置信度用,是不可靠的:一个 logit 是 10 还是 20,不代表模型更确定,只代表这一层的数值尺度不同。
类别和索引的对应关系也要固定。训练时第 0 类是什么,推理时第 0 类必须还是什么。类别表被重新排序、增删一类、或者训练和部署用了不同的标签文件,模型输出会整体错位,而且往往错得很隐蔽:预测的类别名字看起来合理,只是全都偏了一位。解决的办法是把类别表当模型的一部分,随权重一起版本化。
还有一个常见分支:多标签分类。一张图可以同时有「人」「车」「树」,这时每个类别独立判断,不用 softmax 抢一个总和为 1 的份额,而是每个类别各自过 sigmoid。把多标签任务误用 softmax,会让类别之间互相压制,预测结果只保留一个最强者。看到「概率之和为 1」时,先确认任务到底是单标签还是多标签。
softmax:把分数变成一组加起来为 1 的数
softmax 做三步:每个 logit 取指数,得到正数;把所有指数相加,得到分母;每个指数除以分母,得到概率。指数的作用是把差距放大:原本差 1 的分数,取指数后差约 2.7 倍;原本差 5 的分数,差上百倍。所以 softmax 的输出往往很极端,最大值容易接近 1。
实现时不能直接取指数。logit 稍大一点,指数就会溢出成无穷,后面的除法变成 0 除以 0。标准做法是先减去所有 logit 里的最大值,再做指数。减去同一个常数,每个指数都同比例缩小,比值不变,结果完全一样,但数值稳定了。这个技巧几乎所有框架都内置,自己手写时别忘了。
下面用标准库对一组 logits 做 softmax,再算交叉熵,同时看温度的影响:
import math
def softmax(logits, T=1.0):
scaled = [x / T for x in logits]
m = max(scaled)
ex = [math.exp(x - m) for x in scaled]
total = sum(ex)
return [x / total for x in ex]
def cross_entropy(p, y):
return -math.log(p[y])
logits = [2.0, 1.0, 0.1]
for T in (0.5, 1.0, 2.0):
p = softmax(logits, T)
print("T=%.1f" % T, [round(x, 4) for x in p])
p = softmax(logits)
print("probs:", [round(x, 4) for x in p])
print("loss true=0:", round(cross_entropy(p, 0), 4))
print("loss true=2:", round(cross_entropy(p, 2), 4))
logits2 = [5.0, 1.0, 0.1]
p2 = softmax(logits2)
print("confident wrong probs:", [round(x, 4) for x in p2])
print("confident wrong loss true=2:",
round(cross_entropy(p2, 2), 4))
本机实际输出:
T=0.5 [0.8638, 0.1169, 0.0193]
T=1.0 [0.659, 0.2424, 0.0986]
T=2.0 [0.5017, 0.3043, 0.194]
probs: [0.659, 0.2424, 0.0986]
loss true=0: 0.417
loss true=2: 2.317
confident wrong probs: [0.9749, 0.0179, 0.0073]
confident wrong loss true=2: 4.9254
先看温度 1 的结果。三个 logit 的指数分别是 7.389、2.718、1.105,加起来 11.212,除以总和得到 0.659、0.2424、0.0986,确实加起来等于 1。真实类别是第 0 类时,交叉熵是负对数 0.659,等于 0.417;真实类别是第 2 类时,是负对数 0.0986,等于 2.317。同一个预测,标签不同,损失差了五倍多。
再看那组「自信的错误」。把第 0 类的分数拉到 5,softmax 给出 0.9749 的信心,但真实标签是第 2 类,概率只有 0.0073,交叉熵变成 4.9254。模型越自信地错,损失越大。这不是惩罚刻意设计的,而是负对数在概率接近 0 时飞快上升的自然结果。
softmax 还有一个容易忽略的性质:它只改变数值,不改变排序。三个 logit 谁大谁小,softmax 之后还是谁大谁小。所以温度、归一化这些操作,不会让模型「认错类别」,只会改变它对结果的表达方式。理解这一点,能避免把「概率变了」误当成「模型变了」。
交叉熵:为什么自信的错误罚得重
交叉熵衡量的是「模型给真实类别的概率」和「理想概率 1」之间的差距。单标签情况下,公式就是真实类别概率的负对数。概率越接近 1,负对数越接近 0;概率越接近 0,负对数越趋向无穷。这个形状决定了它天然重罚「把真实类别判得几乎没有可能」的错误。
从梯度看更清楚。softmax 加交叉熵组合起来,对 logit 的梯度是「预测概率减去真实标签的独热值」。预测正确且非常自信时,梯度接近 0;预测错误且非常自信时,梯度接近负 1,更新幅度很大。这就是为什么模型一旦在训练早期形成「自信的错误」,会很快被拉回来;也是为什么标签噪声危害大:一个错标的样本,如果模型很自信地把它判对,损失反而很小,错误就被固化了。
实际训练里常加两个东西。一是类别权重,给少数类更大的损失系数,避免多数类主导梯度。二是标签平滑,把目标从「1 和 0」改成「0.9 和 0.1 除以类别数」,防止模型过度自信。两者都在改损失函数,不是改模型结构。用之前要确认它们和评估指标的关系,别训练时调了权重,评估时忘了还原。
还要区分「损失低」和「准确率高」。损失是连续值,准确率是阈值化后的离散判断。一个模型可能损失很低,但少数难样本全错;也可能损失一般,但所有样本都刚好过阈值。训练看损失,验收看指标,两者不能互相替代。
top-1 与 top-5:指标口径先统一
top-1 是只看置信度最高的那一类,猜对才算对。top-5 是看前五个候选里有没有真实类别,有就算对。ImageNet 这类类别很多的任务常用 top-5,因为类别细、相似类多,给五个候选更合理。但 top-5 天然比 top-1 高,两个数不能混着汇报。
汇报时必须写清楚:是 top-1 还是 top-5,是单标签还是多标签,是每类平均还是按样本平均,阈值是多少。少写一项,数字就可能被误读。实际项目里最常见的误会是「准确率 95%」听着很好,追问才发现是 top-5,而业务只关心第一名的结果。
指标还要和业务代价对齐。把「猫」误判成「狗」,和把「正常」误判成「缺陷」,代价完全不同。只看总体准确率,会掩盖某些类别的系统性错误。下一节的混淆矩阵就是用来拆开这层窗户纸的。
过拟合与验证集泄漏:99% 是怎么来的
训练集 99%、线上一团糟,第一嫌疑不是过拟合,而是验证集和训练集同源。随机按图片切分,看似把数据分成了两份,实际上同一场景的连拍、同一患者的多次检查、同一商品的多个角度,可能同时落在两边。模型在验证集上表现好,是因为它见过几乎一样的图,不是因为它学会了泛化。
更隐蔽的是近邻泄漏。两张图不完全相同,但内容高度相似,哈希去重删不掉。用随机切分,它们会分到两边,验证指标被抬高。正确的做法是按「组」切分:同一场景、同一对象、同一时间段归为一组,整组只进训练或只进验证。这样测出来的数字才接近线上的真实难度。
过拟合本身也有信号。训练损失持续下降,验证损失先降后升,差距越拉越大,这是典型曲线。但验证损失不升不代表没过拟合,可能只是验证集太容易。要看训练和验证的分布差异,而不是只看两条曲线的形状。数据增强、权重衰减、早停、dropout 都是缓解手段,但都解决不了分布不一致。
线上和训练不一致时,先做一件很土但有效的事:把线上误判的样本拿回来,人工看一遍,按「背景不同」「设备不同」「类别定义不同」「标注错了」分类计数。多数时候,问题集中在其中一两类,而不是模型整体不行。先修数据,再谈换模型。
类别不平衡与混淆矩阵
类别不平衡会直接扭曲准确率。99 个负样本、1 个正样本,模型全判负,准确率也有 99%。这个数字毫无意义,但在报表上很好看。要看的是每个类别的召回率和精确率,以及它们对应的业务代价。
混淆矩阵把预测和真实按类别交叉计数。行是真实类别,列是预测类别,对角线是判对的样本,非对角线是各类误判。它能一眼看出「哪两类总被混」「某个类是不是几乎全错」。只看总体准确率,这些问题会被多数类平均掉。
处理不平衡有几种常见手段:重采样,过采样少数类或欠采样多数类;损失加权,给少数类更大的系数;阈值调整,不改模型只改判定门槛;或者把问题改成异常检测,只关心「是不是少数类」。每种都有代价:过采样容易重复导致过拟合,欠采样丢信息,加权可能让整体校准变差。选哪种,要看业务更怕漏判还是更怕误报。
混淆矩阵还能暴露标签体系的问题。两类总是互相误判,可能不是模型分不清,而是标注规范本身模糊:同一张图,两个人标成不同类。先统一标注口径,再训练模型,比调参有效得多。
softmax 温度:改的是分布,不是排序
温度是在 softmax 之前把 logits 除以一个数 T。T 大于 1,分布变平,最大概率降低,小概率抬高;T 小于 1,分布变尖,最大概率更高。前面实测的数字就是例子:同一组 logits,T 等于 0.5 时最大概率 0.8638,T 等于 1 时 0.659,T 等于 2 时 0.5017。
温度不改变排序,所以不会改变 top-1 的预测类别。它改变的是「模型表达出的确信程度」。这在需要阈值的地方很关键:业务要求概率低于某个值就转人工,温度一变,触发转人工的比例就变了。所以温度缩放通常是校准手段,不是提升准确率的手段。
校准的意思是让输出的概率和真实正确率对得上。一个模型说 0.9 的那批样本,如果实际正确率明显低于 0.9,它就过度自信。温度缩放可以在验证集上拟合一个 T,让概率更贴近实际。它简单、可解释,但只能在验证集分布内有效,换域之后还要重新校准。
别把温度和「让模型更确定」混为一谈。T 小于 1 会让输出看起来更自信,但模型的判别能力没变,错还是错,只是错得更理直气壮。用温度做展示、做阈值可以,用它来掩盖不确定性不行。
出了问题先查哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 训练集 99%,线上大面积误判 | 验证集与训练集同源,或线上域不同 | 按场景、设备、时间分组切分,再做跨域测试 |
| top-5 很高,top-1 很差 | 指标口径混用,业务只看第一名 | 统一报告 top-1,注明 top-5 仅作参考 |
| 置信度 0.99 但结果是错的 | 过拟合、域偏移或概率未校准 | 看混淆矩阵和校准曲线,试温度缩放 |
| 少数类几乎全错 | 类别不平衡,损失被多数类主导 | 看每类召回,考虑重采样、加权或改阈值 |
| 验证准确率高得反常 | 重复图或近邻图泄漏到验证集 | 去重并按组切分,检查相似图是否跨集 |
| 同一张图两次推理结果不同 | 预处理不一致,或推理有随机性 | 对齐 resize、归一化,关闭随机增强 |
| 输出概率加起来不等于 1 | 忘了 softmax,或任务其实是多标签 | 确认任务类型和最后一层激活 |
| 换了温度后阈值全部失效 | 温度只改分布,不改排序 | 按新分布重新校准业务阈值 |
| 损失很低但验收不通过 | 损失和业务指标不是一回事 | 对齐评估脚本、类别映射和阈值 |
这张表里,第一行和第五行要先查。它们不是模型能力问题,而是评估方法问题。评估方法错了,后面所有调参都是在错误的方向上优化。先把切分和去重做对,再谈模型。
边界与代价
分类模型输出的是一个封闭集合里的选择。类别表固定,遇到没见过的类别,它也会强行归到某一类,而且可能很自信。这叫开放集问题,softmax 本身不提供「我不认识」的选项。要处理这种情况,得加拒识阈值、背景类,或者用能量、距离之类的额外信号。
准确率也有边界。它假设所有错误代价相同,但现实里漏检和误报的代价常常差很多。医疗、工业质检这类场景,需要看召回率、精确率、代价矩阵,而不是一个笼统的准确率。评估指标必须和业务对齐。
训练成本方面,本文的所有数值实验都在本机用 Python 标准库完成,只涉及几个浮点运算;GPU 上的训练速度、显存占用、混合精度收益,未在本机实测,不能拿这里的任何数字外推。真实训练还涉及分布式、数据加载、混合精度、梯度累积等工程问题,和本文的数值示例不是一个量级。
最后,softmax 概率不是「真理概率」。它反映的是模型在训练分布下的偏好,换域、换预处理、换温度都会变。把它当成业务上的置信度,必须先校准、再验证。没有经过校准的概率,只能用来排序,不能用来做阈值决策。
当天能自验的五个练习
这五个练习都只用标准库,重点是手算和对照。每个都能在半小时内看到结果。
- 对 logits 2、1、0.1 手算 softmax:先取指数,再求和,再相除,和程序输出的 0.659、0.2424、0.0986 对照,确认三者相加为 1。
- 分别算真实类别为 0 和为 2 的交叉熵,得到 0.417 和 2.317,解释为什么同一个预测、换一个标签,损失会差五倍多。
- 把温度设成 0.5、1、2,打印三组概率,确认排序不变、分布从尖到平,并说明温度不能改变 top-1 类别。
- 用 20 个样本构造一个 3 类混淆矩阵,手算每类召回率和总体准确率,找出最容易被混的两类。
- 故意制造泄漏:把同一张图复制一份,分别放进训练和验证,观察验证准确率虚高;再按组切分,对比两个数字。
分类之后:从「是什么」到「在哪里」
一张图进分类网络,最后变成一组 logits,softmax 把它变成概率,交叉熵在训练时把概率拉向真实类别,top-1 和 top-5 把概率变成可汇报的指标。看似简单的链路,真正决定线上效果的往往是数据切分、类别定义、预处理一致性和概率校准,而不是网络深了几层。
分类只回答「这张图整体是什么」。现实里更常见的问题是「东西在哪里、有几个、各占多大」。下一层要从分类走到检测:一张图里可能有多个目标,每个目标要给出类别和位置,模型输出的不再是一个概率向量,而是一组框和分数。那套坐标、置信度、非极大值抑制的账,比分类要多好几层。