一个「预测用户会不会下单」的需求,评审会上四个方案摆上桌。算法 A 说用逻辑回归,快、可解释、上线简单;算法 B 说用梯度提升树,表格数据上通常最强;算法 C 说用 kNN,不用训练,直接找相似用户;算法 D 说用 SVM,小样本高维效果好。四个人都没说错,但四个人说的都是自己熟悉的场景。
模型选型不是找「最强的算法」,而是找「在当前数据量、特征形态、解释要求、维护能力下最合适的那个」。同一个模型,在十万条结构化数据上可能表现很好,在两千条高维文本上可能一塌糊涂;在需要向监管解释拒绝原因的场景里,再准的黑箱也不能直接用。
这篇不列算法排行榜,而是把五类常见模型放在同一张桌子上:线性模型、树模型、集成模型、kNN、SVM。每一类讲清楚它假设了什么、擅长什么、在什么条件下会失效,最后给一张按场景查的选型表。读完你应该能说出「为什么这个项目选这个模型」,而不只是「大家都用它」。
一组 XOR 数据,把差别摆出来
先看一个很小但很典型的数据集:十二个点,分布在四个角上,对角同色。左下和右上是负类,左上和右下是正类。这就是经典的 XOR 问题:任何一个单独的横轴或纵轴阈值,都无法把两类分开。
下面用两种办法做留一交叉验证:一种是单轴阈值,按纵坐标切一刀;另一种是 kNN,看离它最近的 k 个邻居怎么投票。留一的意思是每次留出一个样本做测试,其余做训练,最后统计正确率。
points = [
(0, 0, 0), (0.3, 0.1, 0), (0.1, 0.3, 0),
(1, 1, 0), (1.3, 1.1, 0), (1.1, 1.3, 0),
(1, 0, 1), (1.3, 0.1, 1), (1.1, 0.3, 1),
(0, 1, 1), (0.3, 1.1, 1), (0.1, 1.3, 1)
]
def knn_loo(k):
correct = 0
for i, (x, y, _) in enumerate(points):
distances = []
for j, (x2, y2, label) in enumerate(points):
if i == j:
continue
d = ((x - x2) ** 2 + (y - y2) ** 2) ** 0.5
distances.append((d, label))
distances.sort()
votes = [label for _, label in distances[:k]]
prediction = 1 if sum(votes) / len(votes) > 0.5 else 0
correct += prediction == points[i][2]
return correct / len(points)
for k in (1, 3):
print("kNN k=" + str(k), "留一准确率", round(knn_loo(k), 3))
for threshold in (0.4, 0.5, 0.6):
predictions = [1 if y >= threshold else 0 for x, y, _ in points]
correct = sum(p == label for p, (_, _, label) in zip(predictions, points))
print("单轴阈值 y>=" + str(threshold), "准确率", round(correct / len(points), 3))
本机实际输出:
kNN k=1 留一准确率 1.0
kNN k=3 留一准确率 1.0
单轴阈值 y>=0.4 准确率 0.5
单轴阈值 y>=0.5 准确率 0.5
单轴阈值 y>=0.6 准确率 0.5
单轴阈值无论切在哪里,准确率都是 0.5,等于随机猜。因为它只能表达「上面是正类、下面是负类」或反过来,而真实规律是对角线关系。kNN 不做这种全局假设,它只看局部邻居,所以能到 1.0。
这个实验说明一件事:模型的强弱不是绝对的,它取决于模型假设和数据结构的匹配程度。线性模型假设「一条直线能分开」,遇到 XOR 就会失效;kNN 假设「相似的点靠得近」,在低维、样本密集时很有效。选型的第一步,是判断你的数据结构大概长什么样。
线性模型:快、稳、可解释
线性模型用特征的加权和做预测。回归时输出一个连续值,分类时把加权和过一个函数变成概率,比如逻辑回归。它的核心假设是「类别之间大致能被一个平面分开」,或者「输入和输出大致成线性关系」。
优点是训练快、预测快、参数少、容易解释。逻辑回归的系数可以直接说成「这个特征每增加一个单位,几率变化多少」,在需要向业务或监管解释的场景里非常好用。它也不容易过拟合,尤其配合正则化之后。
缺点是表达能力有限。特征和标签之间有明显非线性关系时,它只能靠人工构造交叉特征、多项式特征来补。如果特征工程不做,模型会一直欠拟合。另一个问题是它对异常值和特征尺度敏感,标准化和正则化几乎是必选项。
适用场景很明确:样本量中等、特征以数值和稀疏类别为主、需要可解释、上线延迟要求高。广告点击率、信用评分、风险初筛这类场景,线性模型至今仍是主力,不是因为它最准,而是因为它的性价比和可控性。
树模型:能弯的边界,但要防着长太深
决策树把特征空间切成一个个矩形块。每次选一个特征和一个阈值,把数据分成两半,递归下去,直到每个叶子足够纯。它的边界是阶梯状的,能表达「年龄大于三十且消费次数小于五」这种组合条件,不需要人工做交叉特征。
优点是不要求特征标准化,能处理数值和类别,对异常值相对稳健,单棵树还可以画出来解释。对于表格数据,一棵浅树往往就能给出一个不错的基线,而且训练和预测都很快。
缺点是单棵树非常容易过拟合。不加限制时,它可以一直分到每个叶子只有一个样本,把训练集完美记住。必须用最大深度、最小叶子样本数、最小分裂增益这些参数约束。另一个缺点是边界是阶梯状的,对连续关系的拟合比较粗糙,预测值不连续。
单棵树还不稳定:训练数据稍微变一点,树的结构可能大变。这个缺点由集成方法弥补,但如果项目只需要一个可解释的规则,单棵浅树仍然有价值,比如用来和业务方对齐「模型到底在看哪几个条件」。
集成模型:把很多弱模型拼起来
集成模型是目前表格数据上最常用的一类。它不靠一个模型,而是训练很多棵树,再把结果合起来。随机森林用 bagging:每棵树在随机抽样的数据和随机抽样的特征上训练,最后投票或平均。梯度提升树用 boosting:一棵一棵地训练,每棵新树专门去修正前面所有树的残差。
随机森林的优点是稳定、抗过拟合、几乎不用调参。它把单棵树的不稳定性用平均抵消掉,特征维度高、样本有噪声时表现通常不错。缺点是模型大、预测慢、解释性比单棵树差很多,只能看特征重要性,很难说清某一条预测是怎么来的。
梯度提升树的优点是在结构化数据上通常精度最高,尤其在中型数据集上。它通过不断修正残差,把很多浅树组合成一个强模型。缺点是训练更慢、参数更多、更容易过拟合,学习率、树的数量、树的深度、采样比例都要调。调不好时,它的优势会消失。
集成模型的共同代价是工程复杂度。一个几百棵树的模型,文件可能几十兆,预测延迟比线性模型高一个量级。线上要控制延迟时,得做模型压缩、蒸馏或者限制树的数量。另外,集成模型对特征分布漂移也比较敏感,线上监控不能省。
还有一点容易被忽略:集成模型的调参空间很大。树的数量、深度、学习率、采样比例、正则系数,每一项都能影响结果。调参需要验证集反复试,时间和算力成本都不低。如果没有明确的精度收益,先用一个调好的线性模型或单棵浅树做基线,往往更划算。
kNN:不训练,但预测时要翻遍数据
kNN 的思路最直白:不训练模型,只把训练样本存下来。预测时算新样本到所有训练样本的距离,取最近的 k 个,按它们的标签投票。它假设「相似的特征对应相似的结果」,属于懒惰学习,训练阶段几乎不花时间。
优点是实现简单、天然支持多分类、不需要假设数据形状。样本量小、维度低、特征尺度统一时,它往往能给出一个不错的基线,也常用来做推荐里的「相似用户」。
缺点在预测阶段暴露:每次预测都要和所有训练样本算距离,样本量大时非常慢;存储成本也高,等于把训练集带到线上。它对特征尺度极度敏感,不标准化就会被大尺度特征主导。维度一高,距离会失效,所有点之间的距离都差不多,这叫维度灾难。
k 的选择也要小心。k 太小,模型对噪声敏感,边界很碎;k 太大,邻域跨过类别边界,预测变得模糊。通常从三到五开始试,用验证集选。样本不平衡时,多数类的邻居会淹没少数类,需要按距离加权或者做重采样。
SVM:小样本高维时的一把利器
支持向量机寻找一条「间隔最大」的分界面。它不只要求把两类分开,还要求离分界面最近的样本尽量远。这些最近的样本叫支持向量,最终模型只由它们决定,所以 SVM 对样本量不敏感,对维度也不敏感。
线性不可分时,SVM 可以用核函数把数据映射到更高维,在那里找一个线性分界面。常用的核有径向基核和多项式核。这个思路在文本分类、图像特征分类这类「样本不多、维度很高」的场景里曾经非常有效。
缺点是计算成本随样本量增长很快,十万条以上就很难训练;核函数和正则系数都要调,调不好效果差异很大;多分类要拆成多个二分类器,工程上更麻烦。另一个缺点是输出不是天然的概率,需要额外校准才能当概率用。
SVM 今天的地位不如十年前,但在小样本、高维、边界清晰的场景里仍然值得一试。它更像一把专用工具,不是默认首选。如果数据是几万条结构化表格,梯度提升树通常更省事;如果是一万条文本向量,SVM 可能仍然有竞争力。
按场景查的选型表
把上面的内容压缩成一张表。注意「首选」不是「唯一」,只是在这个条件下最省事、最不容易出错的起点。
| 场景 | 首选 | 备选 | 主要代价 |
|---|---|---|---|
| 需要向业务解释每个预测 | 线性模型或浅决策树 | 带特征重要性的集成模型 | 表达能力有限,非线性关系要靠特征工程补 |
| 中型结构化表格,追求精度 | 梯度提升树 | 随机森林 | 调参多、模型大、预测延迟高 |
| 样本少、特征多、文本向量 | SVM 或带正则的线性模型 | kNN | 核函数难调,概率输出要校准 |
| 样本少、需要快速基线 | kNN 或浅树 | 逻辑回归 | kNN 预测慢且怕高维,浅树容易欠拟合 |
| 线上延迟极低、模型要小 | 线性模型 | 浅树 | 复杂关系学不到,需要人工特征 |
| 数据分布经常变、要快速重训 | 线性模型或浅树 | 小规模集成 | 精度上限低,重训频率高 |
| 类别极不平衡 | 带类别权重的线性模型 | 集成模型配重采样 | 阈值难定,评估要看召回和精确率 |
选型时还有一个常被忽略的维度:团队能不能维护。一个精度高两个百分点但没人会调的模型,不如一个精度稍低但稳定可控的模型。上线之后,模型会退化、数据会漂移、特征会变,维护成本要算进总账里。
选完效果不对,按这张表查
模型选错的表现,往往不是报错,而是「怎么调都上不去」。下面按现象倒查:
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 线性模型怎么调都欠拟合 | 特征和标签是非线性关系 | 画特征与标签的散点图,尝试加入交叉或多项式特征 |
| 单棵树训练集满分、验证很差 | 树太深,把噪声也切成规则 | 限制最大深度和最小叶子样本数,再看验证曲线 |
| 随机森林效果不如预期 | 特征太少或树太少,集成的多样性不足 | 看树的数量和每次分裂可选特征数,逐步增加 |
| kNN 在高维数据上失效 | 维度灾难,距离失去区分度 | 先做降维或特征选择,再比较 kNN 和线性基线 |
| SVM 训练很慢或内存爆掉 | 样本量太大,核矩阵存不下 | 改用线性核或换梯度提升树,先做样本抽样 |
| 集成模型线上延迟超标 | 树太多或单棵树太深 | 统计树的棵数和总节点数,做剪枝或模型蒸馏 |
| 换模型后指标没提升 | 数据或特征才是瓶颈,不是算法 | 先回到基准线,检查特征是否有信息量、切分是否泄漏 |
边界与代价
没有哪个模型在所有数据上最好,这是机器学习里的「没有免费午餐」:算法的优势总是相对于某类数据分布而言的。排行榜上的第一名,换一个数据集可能排到中游。选型的依据应该是自己的数据形态和业务约束,不是别人的榜单。
复杂模型的代价不只是训练时间。它需要更多的调参、更大的存储、更慢的预测、更难的排查。一个线上服务如果要求十毫秒内返回,几百棵树的集成模型可能直接不合格;一个需要向监管说明拒绝理由的场景,黑箱模型可能根本不能用。这些约束在选型阶段就要摆上桌。
简单模型也不是没有代价。它可能一直欠拟合,需要大量人工特征工程,项目时间被拉长;特征工程做完之后,维护成本也不低,因为每个特征都要有明确的业务含义和稳定的口径。
模型选型最好留一份「基线档案」。记录当时为什么选它、验证指标是多少、用了哪些特征、在什么数据版本上评估。过几个月再回头看,没有这份记录,就无法判断是模型退化了,还是数据或业务变了。选型不是一次性的决定,是要随着数据变化复查的。
最后,模型只是系统的一部分。特征管道、数据质量、切分方式、阈值设定、线上监控,任何一环出问题,换什么模型都救不回来。先确认这些基础环节没问题,再谈选型,顺序不能反。
当天能自验的五个练习
- 把 XOR 数据整体旋转四十五度,重跑单轴阈值和 kNN,观察阈值模型的准确率是否变化。解释旋转为什么会影响它。
- 给 XOR 数据加一个明显的噪声点,比如把
(1, 0)的标签改成 0,重跑 kNN,观察 k 等于一和 k 等于三的差异。 - 把 kNN 的距离改成曼哈顿距离,也就是横纵坐标差的绝对值之和,重跑,比较准确率是否变化。
- 把十二个点整体放大一百倍,重跑 kNN 和阈值模型,观察结果是否不变。解释尺度对距离类模型的影响。
- 拿一份你手上的表格数据,先跑一个线性基线,再跑一个浅树,记录两者的训练时间、预测时间和验证指标,写出你会选哪个以及为什么。
小结
线性模型快、稳、可解释,但只能表达线性边界;树模型能表达组合条件,但单棵树容易过拟合;集成模型在表格数据上通常最强,代价是模型大、调参多;kNN 简单但预测慢、怕高维;SVM 适合小样本高维,但训练成本和调参成本都高。
选型要看数据形态、样本量、解释要求、延迟约束和维护能力,而不是看排行榜。机器学习基础到这里结束。下一篇进入深度学习,从线性回归到神经元,看看一层网络到底在算什么。