模型在训练集上准确率 99.2%,混淆矩阵几乎是一条对角线,离线报告写得很漂亮。上线第一周,同样的模型在真实流量上只有 60% 出头。回滚、重训、换模型试了一圈,最后发现问题不在模型结构,而在于打分的那批样本和交付的那批样本,从来就不是同一批。

另一个团队的经历更典型:调了三十多组超参数,验证集分数从 0.83 一路推到 0.91,测试集一跑是 0.79。他们没有作弊,只是把验证集用了太多次。每一次调参都在向验证集借信息,借到最后,验证集已经变成了第二个训练集,测试集才第一次露出真实水平。

这两件事看起来是工程失误,根子上是两个概率概念被混在一起:训练误差和泛化误差。这篇把它们拆开,讲清过拟合怎么发生、训练集验证集测试集各管什么、数据泄漏有哪几种形态、验证集自己的误差有多大、交叉验证为什么更稳,以及测试集为什么只能用一次。

训练误差和泛化误差是两回事

训练误差(training error)是模型在训练集上的平均损失或错误率,是一个可以在日志里直接读到的数。泛化误差(generalization error)是模型在一批从未见过、但和训练数据同分布的新样本上的期望误差。前者是观测值,后者是期望,只能估计,不能直接观测。两者之间没有等式关系,只有一个不等式方向:训练误差通常偏低。

原因不复杂:参数是看着训练集选的。哪怕模型没有学到任何规律,只要它把训练集里的每条样本记住,训练误差也能接近 0。用背题打比方:把练习册的答案背下来,练习册上能考满分,换一套题就露馅。模型容量越大,这本「答案册」越厚,背得越全。

还有一层:训练误差是被优化过的数。梯度下降的目标就是让它变小,所以它天然带有「对训练集有利」的选择偏差。拿它当模型好坏的证据,等于让考生自己出题、自己判卷。验证集的作用,就是换一套卷子。

泛化误差可以粗略拆成三块:偏差、方差和噪声。模型太简单,偏差大,训练和验证都差,叫欠拟合;模型太复杂,方差大,训练很好验证很差,叫过拟合;噪声是数据本身的上限,任何模型都消不掉。这三块不可能同时压到最小,调模型本质上是在偏差和方差之间找平衡。

过拟合:模型把噪声也记住了

过拟合(overfitting)指模型把训练集里的偶然波动当成了规律。机制不神秘:模型容量大、样本少、噪声多,三者凑齐就会发生。容量不只是参数个数,决策树深度、kNN 的 k、训练轮数、特征数量,都算容量的一部分。

做一个具体实验。固定种子 2026 生成的 16 个训练点,来自 sin(3x) 加高斯噪声;300 个验证点来自同一分布。用多项式拟合,阶数从 1 加到 9,训练和验证的均方误差如下:

deg=1 train=0.102894 val=0.249376
deg=3 train=0.045379 val=0.048701
deg=9 train=0.031969 val=572.967921

一阶欠拟合,训练 0.102894、验证 0.249376,两边都差;三阶刚好,0.045379 对 0.048701;九阶训练降到 0.031969,验证却炸到 572.967921。训练误差还在降,验证误差已经失控,这就是过拟合最典型的样子。

九阶为什么会炸?16 个点配 10 个系数,自由度快用完了。模型可以用很大的系数把每个训练点都穿过去,点与点之间剧烈震荡;训练集上它近乎完美,验证集上它在没见过的位置乱猜。

多项式阶数增加时的训练与验证误差(纵轴为对数刻度)
训练误差 验证误差 9 1 5 10⁻² 10⁰ 10² 阶数

验证曲线不是单调的。它先降后升,最低点对应合适的容量。早停就是在这个最低点附近停下来,正则化则是把容量压回去。两条曲线分叉的位置,比单个 loss 数值更能说明问题:分叉越早,过拟合越严重。

三个集合各自的角色

把数据分成三份,每份只干一件事,这是最省心的约定:

训练集拟合参数。模型看过的唯一数据,梯度从这里来。它只负责「学会」,不负责「评判」。
验证集选超参数、做早停、比较模型结构。它参与决策,所以分数会随着使用次数增加而变得乐观。
测试集只在最后评估一次,报告一个数。它的价值来自「从未参与任何决策」,用过一次就贬值。

为什么不能用训练集选超参?因为训练误差已经被优化过,按它选超参,只会偏向「更能记住训练集」的方向。为什么不能反复用验证集?因为每看一次,你就把验证集的信息编码进了决策,它开始像训练集。测试集存在的意义,是提供一个没有被人的选择污染过的估计。

常见比例是 60/20/20 或 80/10/10,但比例不是重点,样本量才是。验证集只有几十条时,一个样本的对错就能让准确率跳两个百分点,分数波动比模型之间的真实差异还大。这种时候交叉验证比死守一个划分更靠谱,具体在第六节说。

数据有时间顺序时,划分不能随机。用未来预测过去,等于把答案提前放进训练集;应按时间切,训练在前,验证在后,测试集更靠后。

数据泄漏:信息从未来或从验证集漏进来

数据泄漏(data leakage)指训练阶段用到了评估阶段不该有的信息,让验证分数虚高。它不一定表现为代码错误,很多时候流程看起来完全正常。常见形态有三种。

第一种,划分之前做全局预处理。标准化、填充缺失值、编码、特征选择、过采样,只要 fit 用了全量数据,验证集的统计量就进了训练流程。第二种,用了未来信息。用「最终是否退款」预测「是否点击」,或者时间序列随机划分,都是把之后才知道的信息提前用了。第三种,重复样本跨集合。同一用户、同一订单、同一张图片的增强版本,随机划分后会同时出现在训练和验证里。

先看第一种的实测。200 条数据、3 个特征,其中一个尺度很大且基本是噪声;用 3 近邻分类,同一个划分,只改变标准化参数的来源:

import math, random

random.seed(7)
rows = []
for i in range(200):
    label = 1 if random.random() < 0.5 else 0
    x1 = random.gauss(2.0 if label else 0.0, 1.0)
    x2 = random.gauss(0.0, 1.0)
    x3 = random.gauss(0.0, 30.0)
    rows.append(([x1, x2, x3], label))

def fit(data):
    mu = [sum(r[0][j] for r in data) / len(data) for j in range(3)]
    sd = [math.sqrt(sum((r[0][j] - mu[j]) ** 2 for r in data) / len(data)) for j in range(3)]
    return mu, sd

def apply(rs, mu, sd):
    return [([(r[0][j] - mu[j]) / sd[j] for j in range(3)], r[1]) for r in rs]

def knn(train, test, k=3):
    ok = 0
    for x, y in test:
        near = sorted((sum((a - b) ** 2 for a, b in zip(x, z)), l) for z, l in train)[:k]
        ok += (sum(l for _, l in near) >= (k + 1) // 2) == y
    return ok / len(test)

random.seed(11)
idx = list(range(200))
random.shuffle(idx)
train = [rows[i] for i in idx[:150]]
val = [rows[i] for i in idx[150:]]
mu_all, sd_all = fit(rows)
mu_tr, sd_tr = fit(train)
print("泄漏版 val =", round(knn(apply(train, mu_all, sd_all), apply(val, mu_all, sd_all)), 4))
print("正确版 val =", round(knn(apply(train, mu_tr, sd_tr), apply(val, mu_tr, sd_tr)), 4))
泄漏版 val = 0.86
正确版 val = 0.86

两个分数一模一样。原因是标准化是逐维仿射变换,kNN 只关心距离的相对大小,两套流水线只是把坐标换了尺度。这个结果要诚实地说:在这组实验里,先标准化再划分没有把分数抬高。但这不等于没泄漏,验证集的均值和方差确实进了 scaler,只是这个模型没把它兑现成分数。别拿「分数没变」当没问题的证据。

换成与标签相关的步骤,后果立刻出现。同样在全量数据上挑特征,20 个特征里按相关系数选最高的 3 个,验证准确率 0.51;只在训练集上挑,0.42。九个百分点,全是泄漏送的。

样本重复更直接。100 条唯一样本,每条复制 3 份,随机划分 150 条训练、150 条验证:

import random

random.seed(9)
base = []
for i in range(100):
    y = 1 if i % 2 == 0 else 0
    base.append(([random.gauss(1.0 if y else 0.0, 1.0),
                  random.gauss(1.0 if y else 0.0, 1.0)], y))
rows = base * 3

def knn1(train, test, k=1):
    ok = 0
    for x, y in test:
        near = sorted((sum((a - b) ** 2 for a, b in zip(x, z)), l) for z, l in train)[:k]
        ok += (sum(l for _, l in near) >= (k + 1) // 2) == y
    return ok / len(test)

random.seed(1)
idx = list(range(300))
random.shuffle(idx)
print("随机划分 val =", round(knn1([rows[i] for i in idx[:150]], [rows[i] for i in idx[150:]]), 4))
ids = list(range(100))
random.shuffle(ids)
train = [base[i] for i in ids[:50]]
val = [base[i] for i in ids[50:]]
print("按样本组划分 val =", round(knn1(train, val), 4))
随机划分 val = 0.98
按样本组划分 val = 0.7

随机划分 0.98,按样本组划分 0.70。因为同一个样本的副本同时出现在两边,验证集里很大一部分是训练集的复制品,模型只要背下来就能答对。两张表看起来都像「模型很强」,但只有后者能说明模型学到了东西。

所以检查清单只有一句:划分之前,任何 fit 都只能用训练集。标准化、填充、编码、特征选择、过采样,一个都不能例外。过采样尤其危险,合成样本和原样本跨集合,等于把训练集抄进验证集。

小验证集本身就不准

验证集分数不是真值,而是一个估计值,本身带方差。把验证集看成 n 次独立判断,每次判断正确的概率是 p,那么准确率服从二项分布的比例,标准差是 √(p(1−p)/n)。这个式子值得记住,它决定你能否相信两个模型之间那点差距。

p=0.8、n=1000 时,标准差是 1.26%;n=100 时,标准差是 4%。也就是说,1000 个样本上两个模型差 1 个百分点,很可能只是噪声;100 个样本上差 4 个百分点,也可能毫无意义。很多「调参涨了两个点」的故事,涨的全是这个标准差里的随机波动。

用种子 2026 模拟 2000 次,直接看分布:

n=1000 理论标准差 = 0.012649 (1.26%)
n=100 理论标准差 = 0.040000 (4.00%)
n=1000 模拟 2000 次: 均值 0.800355 标准差 0.012980 最小 0.7530 最大 0.8430
n=100 模拟 2000 次: 均值 0.800700 标准差 0.039979 最小 0.6000 最大 0.9300

100 个样本时,同一个真实水平 0.8,跑出来的准确率可以从 0.60 到 0.93,跨度 33 个百分点。看到这种曲线上下跳,不要急着归因于模型不稳定,先算一下样本量带来的固有波动。评估集太小,早停会停错位置,模型选择会选错对象,超参搜索会搜到噪声。

报告验证分数时至少带上样本量。有条件就给出置信区间,比如 0.80 ± 0.025。

交叉验证:把每个样本都当过一次验证

交叉验证(cross validation)把数据切成 k 份,每次拿 k−1 份训练、剩下 1 份验证,轮 k 次,最后取平均。k=5 或 k=10 是常用值。它比单次划分稳,因为每个样本都当过一次验证样本,评估用了全部数据,不再取决于某一次划分的运气。

代价也很直接:训练 k 次,算力和时间乘以 k。数据量大、模型训练贵时,k 折不一定划算。

同一批 200 条数据,固定种子 42,5 折实测:

各折: [0.825, 0.75, 0.85, 0.85, 0.9]
均值 = 0.8350
标准差 = 0.0490

单次划分是 0.86。注意 5 折的均值反而低一点,因为那次单次划分恰好抽到了好运的验证集。折与折之间的差异不代表模型在变,只代表各折的样本难度不同。k 折均值的方差不会像独立采样那样按 1/k 下降,因为各折的训练集高度重叠,结果彼此相关,平均只能消掉一部分波动。

留一法(LOO)是 k 等于样本数的极端情况:每次只留一个样本验证。偏差小,因为训练集几乎就是全集;方差大,因为 n 个模型几乎一样,平均起来消不掉样本本身的噪声;成本是训练 n 次。数据量小、单次训练便宜时才考虑。数据量大时,5 折或 10 折已经够用。

还有一种必须提的变体:分组交叉验证。同一用户、同一病人、同一会话的样本必须整组进同一折,否则又变成重复样本泄漏。时间序列则用滚动窗口,训练用过去、验证用紧接着的未来,不能随机切。

测试集只能用一次

测试集只能用一次。这句话不是仪式,是统计上的要求:测试集的作用是给出一个没有被人的选择污染过的估计。你每用它比较一次模型,就把它的信息带进了决策,它就开始向验证集退化。

如果你用测试集比较十个模型,挑分数最高的那个,报出去的测试分数就成了「十个估计里的最大值」,天然偏高。看得次数越多,最高分越乐观。这和多重比较是同一个问题:比较次数增加,纯噪声里出现「看起来最好」的概率也会增加。

验证集同样会被消耗。同一批数据、同一个模型,只换划分种子,10 次验证准确率在 0.78 到 0.90 之间,平均 0.84。如果按验证分数挑种子或超参,报出去的是 0.90,比平均高 6 个百分点,而这 6 个点里没有学到任何新东西,只是挑到了运气好的划分。

正确的流程是:验证集用于所有决策,测试集只用于最终报告。如果项目必须反复看测试集,那就要承认报告的乐观偏差,或者重新留一份从未看过的数据。团队层面还应记录测试集被评估了多少次,这个次数本身就是评估质量的一部分。

一个折中的工程做法是嵌套交叉验证:外层划分评估,内层划分调参,调参的每一折都在内层完成,外层测试集不参与任何选择。成本高,但在数据有限、结论重要的场景下,比拍脑袋相信一个虚高分数可靠。

一张现象对照表

下面这些现象在离线评估里反复出现,原因大多能回到划分和泄漏上。

现象真实原因第一步查什么
训练集很好,上线很差过拟合,或训练与线上分布漂移,或存在泄漏对比训练与验证曲线,检查划分方式和特征来源
验证集分数虚高预处理在全量数据上 fit,或重复样本跨集合,或调参次数过多检查 scaler 和特征选择是否在划分前,查样本 id 是否重复
换随机种子结果大变验证集太小,估计方差大算 √(p(1−p)/n),看分数是否落在噪声范围里
早停停得太早验证曲线抖动,patience 太小,评估频率过高平滑曲线,增大验证集,降低评估频率
划分后某个类别缺失类别不平衡,随机划分没有分层改用分层划分,检查每折的类别比例
测试集被反复使用用测试集选模型、选超参、选种子查实验记录里测试集的评估次数,重置并只用一次
交叉验证每折差异很大数据有分组或时间结构,随机切分破坏了结构按用户分组或按时间切分,再比较各折

边界与代价

第一,验证集小则估计不稳。1.26% 的标准差已经是最理想的情况,它假设每次判断独立。真实模型在同一批样本上的错误往往相关,实际波动只会更大。样本不足时,任何「涨了两个点」的结论都要打折。

第二,分布漂移会让验证失效。验证集和训练集同分布、同时间段,分数才可比;线上流量来自新的渠道、新的用户群,验证集再干净也不代表线上。要模拟上线,得按时间切分,或者用最近一段时间的独立数据做验证。

第三,交叉验证成本高。k 折要训练 k 次,超参搜索再乘上候选数量,时间和算力都是成倍增长。大模型上常用「单次划分加少量折」的折中,而不是严格的 10 折。

第四,时间序列不能随机划分。随机切会让未来样本进入训练集,评估分数虚高,且这种泄漏不会在代码里报错。正确做法是滚动窗口或扩展窗口,训练集只能来自验证时间点之前。

第五,划分只解决评估问题,不解决数据本身的偏差。如果采样过程偏向某类用户,划分得再干净,验证分数也只能代表这批有偏样本。这是下一篇的内容。

第六,调参本身会消耗验证集。反复在同一份验证集上搜索,等于慢慢把它变成训练集。要么留一份从不参与调参的 holdout,要么用嵌套交叉验证,要么接受报告分数偏乐观。

当天可以自己验证的练习

  1. 用本文的标准化脚本,把 fit(rows) 改成 fit(train),再跑一次,确认两个验证分数都是 0.86,并解释为什么分数没变仍然算泄漏。
  2. 算标准差:p=0.8, n=1000 得 1.26%,p=0.8, n=100 得 4%,再用 random 模拟 2000 次,看模拟值是否接近。
  3. 跑一遍 5 折交叉验证,核对各折是否为 0.825、0.75、0.85、0.85、0.9,均值和标准差是否是 0.8350 和 0.0490。
  4. 故意泄漏:把 100 条样本各复制 3 份,先随机划分再按样本 id 分组划分,比较验证准确率 0.98 和 0.70,并说明差在哪。
  5. 换 10 个划分种子,记录每次的验证准确率,算出平均值和最大值;再解释为什么「挑最好的那个」会高估真实水平。

小结:划分对了,样本还可能是偏的

这篇的主线可以压成四句:训练误差是在见过的数据上的表现,泛化误差是在新数据上的期望,两者不能互相替代;过拟合是模型把噪声记住,容量、样本量和噪声水平共同决定它有多严重;验证集负责决策,测试集只负责最后报告,任何在全量数据上 fit 的预处理都会造成泄漏;验证分数本身是估计值,样本少时波动足以盖过模型差异。

但即使划分完全正确、泄漏全部堵住,还有一个问题没解决:你手里的这批样本,本身是不是有偏的。只统计白天用户、只抓取某个渠道、只保留活跃账号,验证集再干净,结论也只对这批样本成立。下一篇讲采样与偏差,说明指标为什么会骗人。