一个欺诈检测模型上线前报出的数字很好看:训练集准确率 99%,验证集 97%。上线第一周,真实准确率只有 62%,大量正常交易被拦截,客服电话被打爆。团队第一反应是「线上数据分布变了」,于是紧急重训,把最近一周的数据加进去,结果仍然只有 65%。

真正的问题不在模型,而在评估方式。训练集和验证集是从同一批历史数据里随机切的,同一个用户的多笔交易被分到了两边,模型实际上记住了用户,而不是学到欺诈模式。更糟的是,这批评历史数据里正例只占 0.2%,一个「永远判正常」的模型也能有 99.8% 的准确率。99% 这个数字,从一开始就没有意义。

这篇讲三件事:训练集、验证集、测试集各自负责什么,为什么不能混用;随机切、分层切、按时间切、按用户切分别在什么场景用;以及分类和回归该看哪些指标,为什么在看指标之前必须先算一个「什么都不做」的基准线。读完你会知道,模型上线崩掉,很多时候是评估阶段就已经埋下的。

99% 是怎么来的:三种切分错误

训练集高分本身不奇怪。模型在训练集上见过每一条样本,只要复杂度足够,它可以把答案记住。真正要看的是没见过的数据。但如果「没见过」只是名义上的,切分时就泄漏了信息,验证集也会跟着虚高。

第一种错误是按行随机切,却不按用户分组。同一个用户的多条记录散落在训练集和验证集里,模型只要记住这个用户的特征组合,就能在验证集上答对。正确做法是把用户作为切分单位,整个用户要么全在训练集,要么全在验证集。

第二种错误是随机切,却忽略了时间。用未来数据训练、用过去数据验证,或者反过来让验证集包含训练期之后的信息,都会让指标失真。金融、风控、推荐这类场景,必须按时间切:用较早的数据训练,用较晚的数据验证。

第三种错误是预处理阶段泄漏。标准化、填充缺失值、筛选特征时用了全量数据,验证集的信息提前进入了训练流程。正确做法是把这些步骤拟合在训练集上,再应用到验证集。别小看这一点,它足以把指标抬高几个百分点。

还有一种是标签泄漏,严格来说不属于切分问题,但表现一样。训练表里混进了预测时拿不到的结果字段,模型抄答案,验证集再干净也测不出真实水平。判断方法还是那句:预测发生的那一刻,这个字段是否已经确定。

样本量太小时,切分本身就会带来很大的偶然性。总共一百条样本,切出二十条验证,换一种切法指标可能差十几个百分点。这时不要急着比较模型,先确认验证集是否足够大。样本不够就老老实实用交叉验证,并接受结果有波动,而不是拿一次切分的结果下结论。

三份数据,各管一件事

只切两份是不够的。训练集用来调整参数,验证集用来调整「人做的选择」,测试集用来做最终验收。三者职责不同,混用会让评估失去意义。

训练集:模型从里面学参数。它可以被反复使用,模型见过的次数最多。
验证集:用来选超参数、选模型、决定什么时候早停。人会根据它的结果反复调整,所以它也会被「间接看过」很多次。
测试集:只在最后用一次,报告一个不带调参痕迹的分数。看过测试集再回去调参,它就不再是测试集。

常见比例是六二二或七比一点五比一点五。样本少时,可以用交叉验证代替固定的验证集:把训练数据分成 k 份,轮流拿一份做验证、其余做训练,最后取平均。交叉验证的代价是训练 k 次,但能让评估更稳,尤其适合样本量不大的场景。

测试集不是必需的奢侈品,但在要对外报数、要做上线决策时,它是唯一能防止「用验证集调出来的幻觉」的关卡。如果数据实在不够,至少保证验证集和训练集在切分单位上完全隔离,并在报告里写清楚「没有独立测试集,指标可能偏乐观」。

反复用测试集调参,是最隐蔽的过拟合。每看一次测试集结果就改一版模型,测试集的信息会一点点渗进模型选择里。最后报告的数字,已经不是「未见数据上的表现」,而是「对这五百条测试样本的拟合程度」。

四种切分方式,对应四种数据形态

切分方式不是随手选的,它要匹配数据的生成方式。选错了,验证集看起来干净,实际上和线上不是一回事。

切分方式适合什么数据怎么切不这样切会怎样
随机切样本独立同分布,比如匿名的图片分类按行随机抽取遇到同一用户多条记录时会泄漏
分层切类别不平衡按标签比例分层抽样验证集正例太少,指标波动巨大
按时间切行为、交易、日志等有时间顺序的数据早期训练,晚期验证和测试用未来信息预测过去,线上无法复现
按用户或设备切同一主体有多条记录按用户 ID 分组,整组进同一侧模型记住用户,验证指标虚高

实际项目经常要组合使用。风控数据既按时间切,又按用户分组:先按时间划出训练期和验证期,再在每一期里保证同一用户不跨期。这样切出来的验证集,才更接近「上线后遇到的新用户、新时段」。

分层切解决的是另一类问题:类别不平衡。正例只占 1% 时,随机切可能导致验证集里正例更少,指标忽高忽低。按标签比例分层,能保证每一份里正例比例接近整体。它不解决泄漏,只在随机切的基础上让分布更稳。

分类指标:别只看准确率

分类任务的第一张表是混淆矩阵。它把预测和真实答案交叉成四个格子:真正例、假正例、真负例、假负例。准确率只用了对角线的两个格子,另外两个格子被忽略了,而业务代价往往就藏在那两个格子里。

由混淆矩阵可以算出三个常用指标。精确率是「判为正的样本里,有多少真的是正」,回答「报警准不准」;召回率是「真正的正例里,有多少被找出来」,回答「漏了多少」;F1 是两者的调和平均,用一个数概括平衡程度。三者不能同时最大化,阈值一动,此消彼长。

下面这段用十条样本算一遍。标签和预测都是手工构造的,重点看输出里准确率和基准线的差距:

y_true = [1, 1, 0, 0, 1, 0, 0, 1, 0, 0]
y_pred = [1, 0, 0, 0, 1, 1, 0, 1, 0, 1]

tp = sum(1 for t, p in zip(y_true, y_pred) if t == 1 and p == 1)
fp = sum(1 for t, p in zip(y_true, y_pred) if t == 0 and p == 1)
fn = sum(1 for t, p in zip(y_true, y_pred) if t == 1 and p == 0)
tn = sum(1 for t, p in zip(y_true, y_pred) if t == 0 and p == 0)

accuracy = (tp + tn) / len(y_true)
precision = tp / (tp + fp)
recall = tp / (tp + fn)
f1 = 2 * precision * recall / (precision + recall)

print("TP", tp, "FP", fp, "FN", fn, "TN", tn)
print("准确率", round(accuracy, 3), "精确率", round(precision, 3),
      "召回率", round(recall, 3), "F1", round(f1, 3))

baseline = sum(1 for t in y_true if t == 0) / len(y_true)
print("全猜负类准确率", round(baseline, 3))

本机实际输出:

TP 3 FP 2 FN 1 TN 4
准确率 0.7 精确率 0.6 召回率 0.75 F1 0.667
全猜负类准确率 0.6

准确率 0.7 看起来还行,但「全猜负类」就有 0.6。模型的真实提升只有 0.1,而且代价是两次误报和一次漏报。如果业务对误报极其敏感,0.6 的精确率意味着每五个报警里有两个是错的,这个模型可能根本不能用。准确率把这些问题全藏起来了。

类别极不平衡时,准确率会彻底失效。正例占 0.2% 时,全判负也有 99.8%。这时应该看召回率、精确率,或者看 PR 曲线下的面积。ROC 曲线下的 AUC 在极度不平衡时也可能虚高,因为假正例的分母很大,多判错一些也看不出明显变化。

精确率和召回率不是模型固有的属性,它们依赖阈值。同一个模型,阈值调低,召回率升、精确率降;阈值调高则相反。报告指标时必须写清楚阈值是多少,否则「召回率 0.9」只是一个没有上下文的数字。比较好的做法是同时给出一条阈值曲线,让业务方看到不同取舍下的结果。

回归指标:误差的平均值和尾部

回归任务看三个常用指标。平均绝对误差是预测和真实值差的绝对值的平均,单位和标签一致,最容易解释;均方根误差先平方再开方,对大误差更敏感;决定系数 R² 衡量模型比「全猜均值」好多少,一表示完美,零表示和均值基线一样,负数表示还不如均值。

下面这段用六个真实值和六个预测值算一遍:

import math

y_true = [3.2, 4.0, 5.5, 2.8, 6.1, 4.4]
y_pred = [3.0, 4.2, 5.0, 3.0, 6.5, 4.1]

mae = sum(abs(t - p) for t, p in zip(y_true, y_pred)) / len(y_true)
rmse = math.sqrt(sum((t - p) ** 2 for t, p in zip(y_true, y_pred)) / len(y_true))

mean = sum(y_true) / len(y_true)
ss_res = sum((t - p) ** 2 for t, p in zip(y_true, y_pred))
ss_tot = sum((t - mean) ** 2 for t in y_true)
r2 = 1 - ss_res / ss_tot

print("MAE", round(mae, 3), "RMSE", round(rmse, 3), "R2", round(r2, 3))

本机实际输出:

MAE 0.3 RMSE 0.321 R2 0.925

MAE 0.3 意味着平均每次预测差 0.3 个单位,RMSE 0.321 略高,说明有少量误差较大但还没到主导程度。R² 0.925 表示模型解释了约九成的波动。三个指标要一起看:只看 MAE 会忽略尾部,只看 R² 会因为标签方差小而虚高。

评估回归时还要看误差的分布,而不是只看平均值。整体 MAE 0.3,可能是每条都差 0.3,也可能是九条几乎不差、一条差了 3.0。后者对业务的风险更大。把误差按分位数切开,至少看 90 分位和最大值,才能知道尾部有多长。

先算基准线,再谈模型好坏

任何指标都要和一个「什么都不做」的基准比。分类的基准是全猜多数类,回归的基准是全猜均值。模型如果只比基准好一点点,那点提升可能只是噪声,不值得为它承担上线和维护成本。

基准线还能帮你判断指标是否合理。分类任务基准 0.6,模型 0.7,提升有限;如果模型报 0.95,先别高兴,回去查标签泄漏和切分泄漏。回归任务基准 MAE 1.0,模型 0.3,提升明显;如果模型报 0.01,同样先查是否用了结果字段。

更严格的基准是「业务现有规则」。线上已经在跑的规则系统,可能已经有 0.8 的召回率。新模型要证明自己比现有规则好,而不是比「随机猜」好。很多项目报告里只和随机基线比,看起来很漂亮,实际上不如现有规则。

基准线也要用同样的切分和同样的口径算。拿全量数据算出来的基准,和用验证集算出来的模型指标不可直接比较。评估流程里的每一步,训练集、验证集、基准、模型,都应该走同一套切分,否则数字之间没有可比性。

指标对不上,按这张表查

评估阶段的问题通常表现为「数字太好」或「线上线下对不上」。下面按现象倒查:

现象真实原因第一步查什么
训练集接近满分模型记住了样本,或存在标签泄漏先算基准线,再检查是否有结果字段进入特征
验证集远高于线上切分时同一用户或同一时段跨了两边检查切分键,改成按用户或按时间切
准确率很高但业务不可用类别极不平衡,模型偏向多数类看混淆矩阵、召回率和精确率,而不是只看准确率
验证集指标每次波动很大验证集样本太少,或没有分层看验证集正例数量,改用分层切或交叉验证
测试集结果好于验证集测试集被反复看过,或切分偶然性大确认测试集使用次数,换一份从未用过的数据复核
R² 很高但误差仍然很大标签本身方差小,R² 被抬高同时看 MAE、RMSE 和误差分位数
离线指标提升,线上没变化离线评估没有按线上分布切分按线上渠道、时段、用户类型拆开重算指标

边界与代价

切分越严格,可用训练数据越少,模型效果可能下降。按时间切会丢掉「未来数据参与训练」的机会;按用户切会让某些用户完全不可见。这是为了评估可信而付出的代价,不能因为模型分数变低就把切分改松。改松的是评估,不是模型。

指标本身也有代价。精确率和召回率此消彼长,提高召回通常意味着更多误报,客服和人工审核的成本会上升。F1 把两者平均,但在业务代价不对称时,平均并不合理。指标的选择要由业务方参与,算法同学不能替业务决定「一个漏判等于几个误报」。

小样本上的评估尤其不可靠。验证集只有五十条,准确率差 2% 可能只是差一条样本。报告指标时应该同时给出样本量和置信区间,或者用交叉验证报告均值与波动。只报一个点估计,会让人误以为精度很高。

最后是评估的维护。数据分布会变,上个月的验证集这个月可能已经不代表线上。评估集要定期更新,但更新后历史分数就不能直接比较。把评估集的版本、切分方式和指标定义记下来,比事后解释「为什么这个月和上个月不一样」省事得多。

还要注意指标口径的差异。离线评估按样本平均,线上指标按用户或按请求平均,两者可能差很多。一个用户产生一百条记录,样本平均会让这个用户占很大权重;用户平均则只看一次。评估时最好用和线上一致的口径,否则离线提升两个点,线上可能完全看不到。

当天能自验的五个练习

  1. 把混淆矩阵里的两条预测改掉,让准确率不变但召回率大幅下降,观察 F1 怎么变。
  2. 把十标签本里的正例从四条改成两条,重算全猜负类的准确率,体会不平衡时准确率为什么失效。
  3. 把回归实验里的一个预测值改成 20.0,重算 MAE、RMSE 和 R²,观察哪个指标对极端误差最敏感。
  4. 把回归标签整体乘以十,重算三个指标,观察 MAE 和 RMSE 怎么变、R² 是否不变。解释原因。
  5. 拿一份你手上的数据,分别按随机、按时间、按用户切三次,比较三次验证指标,写下差距最大的是哪一种切法。

小结

训练集学参数,验证集选模型和超参数,测试集只做最终验收。切分要匹配数据形态:有时间顺序的按时间切,同一主体多条记录的按用户切,类别不平衡的分层切。任何指标都要先和基准线比,分类别只看准确率。

评估做对了,下一个问题就会浮出来:训练集和验证集的差距为什么越来越大。下一篇讲过拟合与正则化,讲清楚模型是在学规律还是背答案,以及怎么判断、怎么补救。