一个欺诈检测模型上线前报出的数字很好看:训练集准确率 99%,验证集 97%。上线第一周,真实准确率只有 62%,大量正常交易被拦截,客服电话被打爆。团队第一反应是「线上数据分布变了」,于是紧急重训,把最近一周的数据加进去,结果仍然只有 65%。
真正的问题不在模型,而在评估方式。训练集和验证集是从同一批历史数据里随机切的,同一个用户的多笔交易被分到了两边,模型实际上记住了用户,而不是学到欺诈模式。更糟的是,这批评历史数据里正例只占 0.2%,一个「永远判正常」的模型也能有 99.8% 的准确率。99% 这个数字,从一开始就没有意义。
这篇讲三件事:训练集、验证集、测试集各自负责什么,为什么不能混用;随机切、分层切、按时间切、按用户切分别在什么场景用;以及分类和回归该看哪些指标,为什么在看指标之前必须先算一个「什么都不做」的基准线。读完你会知道,模型上线崩掉,很多时候是评估阶段就已经埋下的。
99% 是怎么来的:三种切分错误
训练集高分本身不奇怪。模型在训练集上见过每一条样本,只要复杂度足够,它可以把答案记住。真正要看的是没见过的数据。但如果「没见过」只是名义上的,切分时就泄漏了信息,验证集也会跟着虚高。
第一种错误是按行随机切,却不按用户分组。同一个用户的多条记录散落在训练集和验证集里,模型只要记住这个用户的特征组合,就能在验证集上答对。正确做法是把用户作为切分单位,整个用户要么全在训练集,要么全在验证集。
第二种错误是随机切,却忽略了时间。用未来数据训练、用过去数据验证,或者反过来让验证集包含训练期之后的信息,都会让指标失真。金融、风控、推荐这类场景,必须按时间切:用较早的数据训练,用较晚的数据验证。
第三种错误是预处理阶段泄漏。标准化、填充缺失值、筛选特征时用了全量数据,验证集的信息提前进入了训练流程。正确做法是把这些步骤拟合在训练集上,再应用到验证集。别小看这一点,它足以把指标抬高几个百分点。
还有一种是标签泄漏,严格来说不属于切分问题,但表现一样。训练表里混进了预测时拿不到的结果字段,模型抄答案,验证集再干净也测不出真实水平。判断方法还是那句:预测发生的那一刻,这个字段是否已经确定。
样本量太小时,切分本身就会带来很大的偶然性。总共一百条样本,切出二十条验证,换一种切法指标可能差十几个百分点。这时不要急着比较模型,先确认验证集是否足够大。样本不够就老老实实用交叉验证,并接受结果有波动,而不是拿一次切分的结果下结论。
三份数据,各管一件事
只切两份是不够的。训练集用来调整参数,验证集用来调整「人做的选择」,测试集用来做最终验收。三者职责不同,混用会让评估失去意义。
常见比例是六二二或七比一点五比一点五。样本少时,可以用交叉验证代替固定的验证集:把训练数据分成 k 份,轮流拿一份做验证、其余做训练,最后取平均。交叉验证的代价是训练 k 次,但能让评估更稳,尤其适合样本量不大的场景。
测试集不是必需的奢侈品,但在要对外报数、要做上线决策时,它是唯一能防止「用验证集调出来的幻觉」的关卡。如果数据实在不够,至少保证验证集和训练集在切分单位上完全隔离,并在报告里写清楚「没有独立测试集,指标可能偏乐观」。
四种切分方式,对应四种数据形态
切分方式不是随手选的,它要匹配数据的生成方式。选错了,验证集看起来干净,实际上和线上不是一回事。
| 切分方式 | 适合什么数据 | 怎么切 | 不这样切会怎样 |
|---|---|---|---|
| 随机切 | 样本独立同分布,比如匿名的图片分类 | 按行随机抽取 | 遇到同一用户多条记录时会泄漏 |
| 分层切 | 类别不平衡 | 按标签比例分层抽样 | 验证集正例太少,指标波动巨大 |
| 按时间切 | 行为、交易、日志等有时间顺序的数据 | 早期训练,晚期验证和测试 | 用未来信息预测过去,线上无法复现 |
| 按用户或设备切 | 同一主体有多条记录 | 按用户 ID 分组,整组进同一侧 | 模型记住用户,验证指标虚高 |
实际项目经常要组合使用。风控数据既按时间切,又按用户分组:先按时间划出训练期和验证期,再在每一期里保证同一用户不跨期。这样切出来的验证集,才更接近「上线后遇到的新用户、新时段」。
分层切解决的是另一类问题:类别不平衡。正例只占 1% 时,随机切可能导致验证集里正例更少,指标忽高忽低。按标签比例分层,能保证每一份里正例比例接近整体。它不解决泄漏,只在随机切的基础上让分布更稳。
分类指标:别只看准确率
分类任务的第一张表是混淆矩阵。它把预测和真实答案交叉成四个格子:真正例、假正例、真负例、假负例。准确率只用了对角线的两个格子,另外两个格子被忽略了,而业务代价往往就藏在那两个格子里。
由混淆矩阵可以算出三个常用指标。精确率是「判为正的样本里,有多少真的是正」,回答「报警准不准」;召回率是「真正的正例里,有多少被找出来」,回答「漏了多少」;F1 是两者的调和平均,用一个数概括平衡程度。三者不能同时最大化,阈值一动,此消彼长。
下面这段用十条样本算一遍。标签和预测都是手工构造的,重点看输出里准确率和基准线的差距:
y_true = [1, 1, 0, 0, 1, 0, 0, 1, 0, 0]
y_pred = [1, 0, 0, 0, 1, 1, 0, 1, 0, 1]
tp = sum(1 for t, p in zip(y_true, y_pred) if t == 1 and p == 1)
fp = sum(1 for t, p in zip(y_true, y_pred) if t == 0 and p == 1)
fn = sum(1 for t, p in zip(y_true, y_pred) if t == 1 and p == 0)
tn = sum(1 for t, p in zip(y_true, y_pred) if t == 0 and p == 0)
accuracy = (tp + tn) / len(y_true)
precision = tp / (tp + fp)
recall = tp / (tp + fn)
f1 = 2 * precision * recall / (precision + recall)
print("TP", tp, "FP", fp, "FN", fn, "TN", tn)
print("准确率", round(accuracy, 3), "精确率", round(precision, 3),
"召回率", round(recall, 3), "F1", round(f1, 3))
baseline = sum(1 for t in y_true if t == 0) / len(y_true)
print("全猜负类准确率", round(baseline, 3))
本机实际输出:
TP 3 FP 2 FN 1 TN 4
准确率 0.7 精确率 0.6 召回率 0.75 F1 0.667
全猜负类准确率 0.6
准确率 0.7 看起来还行,但「全猜负类」就有 0.6。模型的真实提升只有 0.1,而且代价是两次误报和一次漏报。如果业务对误报极其敏感,0.6 的精确率意味着每五个报警里有两个是错的,这个模型可能根本不能用。准确率把这些问题全藏起来了。
类别极不平衡时,准确率会彻底失效。正例占 0.2% 时,全判负也有 99.8%。这时应该看召回率、精确率,或者看 PR 曲线下的面积。ROC 曲线下的 AUC 在极度不平衡时也可能虚高,因为假正例的分母很大,多判错一些也看不出明显变化。
精确率和召回率不是模型固有的属性,它们依赖阈值。同一个模型,阈值调低,召回率升、精确率降;阈值调高则相反。报告指标时必须写清楚阈值是多少,否则「召回率 0.9」只是一个没有上下文的数字。比较好的做法是同时给出一条阈值曲线,让业务方看到不同取舍下的结果。
回归指标:误差的平均值和尾部
回归任务看三个常用指标。平均绝对误差是预测和真实值差的绝对值的平均,单位和标签一致,最容易解释;均方根误差先平方再开方,对大误差更敏感;决定系数 R² 衡量模型比「全猜均值」好多少,一表示完美,零表示和均值基线一样,负数表示还不如均值。
下面这段用六个真实值和六个预测值算一遍:
import math
y_true = [3.2, 4.0, 5.5, 2.8, 6.1, 4.4]
y_pred = [3.0, 4.2, 5.0, 3.0, 6.5, 4.1]
mae = sum(abs(t - p) for t, p in zip(y_true, y_pred)) / len(y_true)
rmse = math.sqrt(sum((t - p) ** 2 for t, p in zip(y_true, y_pred)) / len(y_true))
mean = sum(y_true) / len(y_true)
ss_res = sum((t - p) ** 2 for t, p in zip(y_true, y_pred))
ss_tot = sum((t - mean) ** 2 for t in y_true)
r2 = 1 - ss_res / ss_tot
print("MAE", round(mae, 3), "RMSE", round(rmse, 3), "R2", round(r2, 3))
本机实际输出:
MAE 0.3 RMSE 0.321 R2 0.925
MAE 0.3 意味着平均每次预测差 0.3 个单位,RMSE 0.321 略高,说明有少量误差较大但还没到主导程度。R² 0.925 表示模型解释了约九成的波动。三个指标要一起看:只看 MAE 会忽略尾部,只看 R² 会因为标签方差小而虚高。
评估回归时还要看误差的分布,而不是只看平均值。整体 MAE 0.3,可能是每条都差 0.3,也可能是九条几乎不差、一条差了 3.0。后者对业务的风险更大。把误差按分位数切开,至少看 90 分位和最大值,才能知道尾部有多长。
先算基准线,再谈模型好坏
任何指标都要和一个「什么都不做」的基准比。分类的基准是全猜多数类,回归的基准是全猜均值。模型如果只比基准好一点点,那点提升可能只是噪声,不值得为它承担上线和维护成本。
基准线还能帮你判断指标是否合理。分类任务基准 0.6,模型 0.7,提升有限;如果模型报 0.95,先别高兴,回去查标签泄漏和切分泄漏。回归任务基准 MAE 1.0,模型 0.3,提升明显;如果模型报 0.01,同样先查是否用了结果字段。
更严格的基准是「业务现有规则」。线上已经在跑的规则系统,可能已经有 0.8 的召回率。新模型要证明自己比现有规则好,而不是比「随机猜」好。很多项目报告里只和随机基线比,看起来很漂亮,实际上不如现有规则。
基准线也要用同样的切分和同样的口径算。拿全量数据算出来的基准,和用验证集算出来的模型指标不可直接比较。评估流程里的每一步,训练集、验证集、基准、模型,都应该走同一套切分,否则数字之间没有可比性。
指标对不上,按这张表查
评估阶段的问题通常表现为「数字太好」或「线上线下对不上」。下面按现象倒查:
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 训练集接近满分 | 模型记住了样本,或存在标签泄漏 | 先算基准线,再检查是否有结果字段进入特征 |
| 验证集远高于线上 | 切分时同一用户或同一时段跨了两边 | 检查切分键,改成按用户或按时间切 |
| 准确率很高但业务不可用 | 类别极不平衡,模型偏向多数类 | 看混淆矩阵、召回率和精确率,而不是只看准确率 |
| 验证集指标每次波动很大 | 验证集样本太少,或没有分层 | 看验证集正例数量,改用分层切或交叉验证 |
| 测试集结果好于验证集 | 测试集被反复看过,或切分偶然性大 | 确认测试集使用次数,换一份从未用过的数据复核 |
| R² 很高但误差仍然很大 | 标签本身方差小,R² 被抬高 | 同时看 MAE、RMSE 和误差分位数 |
| 离线指标提升,线上没变化 | 离线评估没有按线上分布切分 | 按线上渠道、时段、用户类型拆开重算指标 |
边界与代价
切分越严格,可用训练数据越少,模型效果可能下降。按时间切会丢掉「未来数据参与训练」的机会;按用户切会让某些用户完全不可见。这是为了评估可信而付出的代价,不能因为模型分数变低就把切分改松。改松的是评估,不是模型。
指标本身也有代价。精确率和召回率此消彼长,提高召回通常意味着更多误报,客服和人工审核的成本会上升。F1 把两者平均,但在业务代价不对称时,平均并不合理。指标的选择要由业务方参与,算法同学不能替业务决定「一个漏判等于几个误报」。
小样本上的评估尤其不可靠。验证集只有五十条,准确率差 2% 可能只是差一条样本。报告指标时应该同时给出样本量和置信区间,或者用交叉验证报告均值与波动。只报一个点估计,会让人误以为精度很高。
最后是评估的维护。数据分布会变,上个月的验证集这个月可能已经不代表线上。评估集要定期更新,但更新后历史分数就不能直接比较。把评估集的版本、切分方式和指标定义记下来,比事后解释「为什么这个月和上个月不一样」省事得多。
还要注意指标口径的差异。离线评估按样本平均,线上指标按用户或按请求平均,两者可能差很多。一个用户产生一百条记录,样本平均会让这个用户占很大权重;用户平均则只看一次。评估时最好用和线上一致的口径,否则离线提升两个点,线上可能完全看不到。
当天能自验的五个练习
- 把混淆矩阵里的两条预测改掉,让准确率不变但召回率大幅下降,观察 F1 怎么变。
- 把十标签本里的正例从四条改成两条,重算全猜负类的准确率,体会不平衡时准确率为什么失效。
- 把回归实验里的一个预测值改成 20.0,重算 MAE、RMSE 和 R²,观察哪个指标对极端误差最敏感。
- 把回归标签整体乘以十,重算三个指标,观察 MAE 和 RMSE 怎么变、R² 是否不变。解释原因。
- 拿一份你手上的数据,分别按随机、按时间、按用户切三次,比较三次验证指标,写下差距最大的是哪一种切法。
小结
训练集学参数,验证集选模型和超参数,测试集只做最终验收。切分要匹配数据形态:有时间顺序的按时间切,同一主体多条记录的按用户切,类别不平衡的分层切。任何指标都要先和基准线比,分类别只看准确率。
评估做对了,下一个问题就会浮出来:训练集和验证集的差距为什么越来越大。下一篇讲过拟合与正则化,讲清楚模型是在学规律还是背答案,以及怎么判断、怎么补救。