有个同事调一个销量预测模型,连续三天在训练集上抠最后一点误差。他把多项式特征从二次加到九次,训练误差终于降到 0.0001,兴奋地拿去做线上验证,结果误差比最初的线性模型还大。他不服气,又加了几十个人工特征,训练误差继续降,线上误差继续涨。
这就是过拟合:模型把训练数据里的噪声也当成规律学了进去。它的表现是训练集上几乎完美,新数据上一塌糊涂。更麻烦的是,训练误差下降这个信号本身会骗人,你越努力优化它,可能离目标越远。
这篇用一个可复现的实验把过拟合演出来:十四个带噪声的点,分别用一次、三次、九次多项式去拟合,比较训练误差和测试误差。然后讲清楚三种判断方法、L1 与 L2 正则化到底在改什么、以及为什么「加数据」经常比「调正则项」更有效。读完你应该能在看到「训练集 99%」时,先问一句验证集是多少。
一条穿过所有点的曲线
先生成十四个点,真实规律是一条二次曲线,但每个点都加了点噪声。然后把点分成训练组和测试组,训练组用来拟合,测试组只在最后算误差。这个设定很朴素,却足以说明问题。
接下来用多项式拟合。一次多项式是一条直线,三次是一条能弯两次的曲线,九次多项式有十个参数,可以弯很多次。参数越多,模型越「灵活」,越容易穿过每一个训练点。
代码用正规方程求解,纯标准库实现。所谓正规方程,就是直接解一组线性方程,一步得到最优参数,不需要梯度下降。它适合这种参数很少的小模型,参数一多,方程会变得又大又不稳定。重点不是求解细节,而是最后打印的两列误差:训练误差和测试误差。
还要注意参数数量和样本量的关系。九次多项式有十个参数,训练样本也正好十个,方程刚好有解,模型可以穿过每一个点。如果参数比样本还多,方程会有无穷多组解,模型的选择完全取决于求解器的数值细节,结果更不可控。参数量接近样本量本身就是一个危险信号。
xs = [-2.6, -2.2, -1.8, -1.4, -1.0, -0.6, -0.2, 0.2,
0.6, 1.0, 1.4, 1.8, 2.2, 2.6]
noise = [0.3, -0.2, 0.1, -0.1, 0.2, -0.3, 0.15,
-0.1, 0.25, -0.2, 0.1, -0.15, 0.05, -0.1]
ys = [round(0.8 * x * x + n, 3) for x, n in zip(xs, noise)]
train_idx = [0, 1, 3, 4, 6, 7, 9, 10, 12, 13]
test_idx = [2, 5, 8, 11]
def solve(A, b):
n = len(A)
M = [row[:] + [b[i]] for i, row in enumerate(A)]
for i in range(n):
p = max(range(i, n), key=lambda r: abs(M[r][i]))
M[i], M[p] = M[p], M[i]
pivot = M[i][i]
for j in range(i, n + 1):
M[i][j] /= pivot
for r in range(n):
if r != i:
factor = M[r][i]
for j in range(i, n + 1):
M[r][j] -= factor * M[i][j]
return [M[i][n] for i in range(n)]
for degree in (1, 3, 9):
X = [[x ** k for k in range(degree + 1)] for x in xs]
XtX = [[sum(X[i][a] * X[i][b] for i in train_idx)
for b in range(degree + 1)] for a in range(degree + 1)]
Xty = [sum(X[i][a] * ys[i] for i in train_idx)
for a in range(degree + 1)]
w = solve(XtX, Xty)
def mse(idx):
errors = []
for i in idx:
pred = sum(w[k] * xs[i] ** k for k in range(degree + 1))
errors.append((pred - ys[i]) ** 2)
return sum(errors) / len(errors)
print("degree", degree, "train MSE", round(mse(train_idx), 4),
"test MSE", round(mse(test_idx), 4))
本机实际输出:
degree 1 train MSE 4.0905 test MSE 2.2391
degree 3 train MSE 0.025 test MSE 0.0425
degree 9 train MSE 0.0 test MSE 0.2648
三个结果很说明问题。一次多项式太简单,训练和测试误差都大,这是欠拟合。三次多项式接近真实规律,训练误差 0.025,测试误差 0.0425,两者接近。九次多项式把训练误差压到了 0,测试误差却是三次的六倍多,这是典型的过拟合。
九次多项式有十个参数,训练样本正好十个,它可以完全穿过所有训练点。但点与点之间的形状是由噪声决定的,不是由真实规律决定的。模型学到的不是「二次曲线」,而是「这十个点的精确位置」。换四个新点,它就露馅了。
欠拟合、合适、过拟合
三种状态可以用训练误差和验证误差的关系来区分。欠拟合是两个都高;合适是两个都低且接近;过拟合是训练低、验证高,差距明显。
欠拟合
模型太简单,连训练数据里的规律都没学到。训练误差和验证误差都高,加特征、加复杂度、减正则化通常有帮助。它的问题不是记性太好,而是根本没学会。
过拟合
模型太灵活,把训练数据里的噪声也记住了。训练误差很低,验证误差明显更高。加数据、减复杂度、加正则化、早停通常有帮助。它的问题是记性太好,把不该记的也记了。
两者不是非黑即白,中间有一个最优点。模型复杂度从低往高走,验证误差先降后升,最低点就是当前数据量下比较合适的复杂度。这个曲线叫验证曲线,是调复杂度时最该看的东西。只看训练误差,它会一直下降,永远告诉你「再复杂一点更好」。
最优点会随样本量移动。样本越多,能支撑的复杂度越高,验证曲线的最低点会往右移。所以「这个模型太复杂」不能脱离数据量单独说。一万条样本上的九次多项式可能是合理的,十条样本上的九次多项式几乎一定在背答案。
还要注意,过拟合不只发生在多项式次数上。决策树可以一直分下去,直到每个叶子只有一个样本;k 近邻的 k 取 1 时,预测完全取决于最近的那个训练点;神经网络参数足够多时,也能记住整个训练集。任何能提高模型灵活度的旋钮,拧过头都会过拟合。
怎么判断:三个可靠信号
第一个信号是训练集和验证集的差距。两者用同一种指标,差距越大越可疑。差距小但都高,是欠拟合;差距大且验证高,是过拟合。只看其中一个,判断不了。
第二个信号是验证误差随训练轮数的走势。正常情况是先降后平;过拟合时,验证误差会在某个点之后重新上升,而训练误差继续下降。这个拐点就是早停该停的位置。曲线不会骗人,前提是你真的把验证误差按轮记录了下来。
第三个信号是换一批数据后结果是否稳定。把训练集随机抽掉一成,重新训练,如果验证指标大幅波动,说明模型对具体样本太敏感,很可能在记住噪声。稳定性差不一定是过拟合,但通常和过拟合同时出现。
还有一个更系统的方法叫学习曲线。固定模型复杂度,逐步增加训练样本量,记录训练误差和验证误差。样本很少时,训练误差很低、验证误差很高;随着样本增加,两条曲线逐渐靠近。如果加到很多样本后仍然靠不近,说明模型复杂度对当前特征来说太高;如果两条曲线很早就在高位靠拢,说明是欠拟合。学习曲线能区分「缺数据」和「模型不对」这两类问题。
正则化:给模型加一点约束
正则化是在损失函数里加一项,惩罚参数变得太大。直观理解:参数越大,模型对输入的微小变化越敏感,曲线越弯,越容易去穿过噪声点。限制参数大小,等于要求模型用更「平缓」的方式拟合数据。
L2 正则化加的是参数平方和,也叫权重衰减。它会把所有参数往零的方向拉,但很少拉到正好为零。效果是让模型更平滑,适合特征之间高度相关、希望整体稳定的场景。L1 正则化加的是参数绝对值之和,它更容易把一些参数压到正好为零,产生稀疏解,相当于自动做了一部分特征选择。
两者都引入一个系数,通常叫 lambda 或 alpha,控制惩罚强度。lambda 为零就是不加正则,越大惩罚越重。惩罚太重会把模型压回欠拟合,验证误差重新升高。所以 lambda 也是一个要用验证集选的超参数,不是越大越好。
正则化的代价是偏差。它主动让模型不要那么贴合训练数据,训练误差会比不加正则时高。换来的可能是验证误差下降,也就是泛化更好。如果加了正则后验证误差反而上升,说明惩罚过头,或者当前问题本来就不是过拟合。
还有一点要分清:正则化约束的是参数,不是特征。它不会把某个业务上很重要的特征删掉,只是让它的权重变小。如果某个特征必须保留且必须可解释,正则化可能让解释变得困难,这时更适合手动做特征选择,而不是靠 L1 自动压零。
lambda 的选择也不能用测试集。正确做法是在训练集内部再切一份验证集,或者用交叉验证,对每个候选 lambda 算一次验证误差,选最低的那个。测试集只在最后用一次,不能因为「想看看不同 lambda 的效果」就反复拿它比较。这样做看似省事,实际上把测试集变成了第二个验证集。
比调参更有效的几种做法
发现过拟合后,很多人的第一反应是调正则系数。但更有效的往往是下面几件事,按性价比排序。
第一是加数据。过拟合的本质是样本不足以约束模型的灵活度。同样一个九次多项式,如果训练点从十个增加到一千个,它就没法再穿过每个点,只能学整体趋势。加数据通常比调正则更根本,但成本也更高,要看标注预算。
第二是降复杂度。九次降到三次,特征从一百个减到二十个,树的最大深度从无限设成八。这是最直接的办法,代价是可能损失一些真实的非线性关系。降复杂度前先确认验证误差确实在上升,别把欠拟合误判成过拟合。
第三是早停。训练过程中不断在验证集上评估,验证误差连续若干轮不降就停,并回滚到最好的那一轮。它不改变模型结构,只是不让模型继续背训练样本。对神经网络尤其常用,因为神经网络的训练轮数本来就难预先定。
第四是 dropout 和数据增强。dropout 在训练时随机丢弃一部分神经元,逼模型不要依赖某几条特定路径;数据增强通过裁剪、翻转、加噪声等方式造出更多变体,等价于扩充训练集。两者都是深度学习中常用的抗过拟合手段,后面讲深度学习时会展开。
这些方法可以叠加,但不要一次全上。每加一个,就在验证集上比较一次,否则出了问题不知道是哪一项导致的。调参的顺序应该是先确认数据没有泄漏,再调复杂度,最后才调正则强度。
训练好、上线差,按这张表查
过拟合的表现不止一种,下面按现象倒查:
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 训练误差接近零,验证误差很高 | 模型记住了训练样本的噪声 | 降低模型复杂度或加正则,再看验证误差是否下降 |
| 训练和验证都高 | 欠拟合,模型太简单或特征不足 | 增加有效特征或提高复杂度,确认不是标签问题 |
| 验证误差先降后升 | 训练轮数过多,后期在背样本 | 记录每轮验证误差,在最低点早停 |
| 换一批训练数据结果波动很大 | 样本太少,模型对具体样本敏感 | 看训练样本量,做多次重采样比较指标方差 |
| 加了正则后验证误差更高 | 惩罚过强,把模型压成欠拟合 | 减小正则系数,观察验证误差曲线 |
| 训练误差突然变成零 | 标签泄漏,或样本量小于参数数量 | 检查特征是否包含结果字段,核对样本数和参数量 |
| 某个类别永远预测错 | 该类样本太少,模型被多数类主导 | 按类别统计样本量,考虑重采样或类别权重 |
边界与代价
过拟合不是越少越好。模型太简单会欠拟合,连训练集里的真实规律都学不到。目标是找到验证误差最低的那个复杂度,而不是把训练误差压到最低,也不是把模型压到最简单。两个方向都会让线上效果变差,只是表现不同。
正则化会牺牲可解释性。L2 让所有参数都变小,你很难再说「这个特征权重是 0.8,所以它很重要」;L1 把一些参数压成零,看起来像做了特征选择,但被压零的特征未必真的无用,可能只是和其他特征高度相关。向业务解释模型时,这一点要提前说清楚。
早停依赖验证集的质量。验证集如果和训练集同源、或者太小,早停可能在错误的轮数停下。验证集本身也要按前面讲的切分原则处理,不能随机切完就用。早停省下的是训练时间,不是评估的严谨性。
加数据的成本最高,但收益也最稳。标注数据要钱、要时间,而且加的数据必须和线上分布一致。加一堆和线上不同的数据,只会让模型更自信地学错。数据质量比数量更重要,这一点在过拟合问题上同样成立。
不同补救手段之间会互相影响。加了正则之后,合适的模型复杂度会变;加了数据之后,原来的正则强度可能又太弱。每换一个条件,都要重新在验证集上确认一遍,而不是把一组参数当成永久最优。过拟合的调整是一个需要重复的过程,不是一次性的开关。
当天能自验的五个练习
- 把实验里的测试点从四个增加到七个,重跑,观察九次多项式的测试误差是否变化。解释为什么样本量会影响结论。
- 把噪声整体放大三倍,重跑三个模型,观察三次多项式的测试误差怎么变。想一想噪声大小和合适复杂度的关系。
- 把九次多项式的训练点减少到八个,重跑,观察训练误差是否还能为零,以及测试误差怎么变。
- 在损失里手动加一个 L2 项,系数分别取 0.01 和 1,重跑三次多项式,比较训练和测试误差。
- 画一条「验证误差随多项式次数变化」的曲线,次数从一到九,找出最低点。记录这个最低点是不是三。
小结
过拟合是模型把训练数据里的噪声也当成规律学了进去,表现是训练误差低、验证误差高。判断要看训练与验证的差距、验证误差随轮数的走势、以及换数据后的稳定性。正则化通过惩罚大参数来约束模型灵活度,L1 偏向稀疏,L2 偏向平滑,强度要用验证集选。
到这里,机器学习基础的八个主题已经走完一圈:从问题定义、数据、任务类型、无监督、训练循环、评估,到过拟合。下一篇讲常见模型怎么选,把线性、树、集成、kNN、SVM 放在同一张桌子上比较,看看各自的适用场景和代价。