先看两个真实需求。第一个来自运营:给了一张十万行的用户表,有年龄、城市、订单数、客单价,但没有「是否流失」这一列,问「能不能把这些用户分几群,我想针对不同人群做活动」。第二个来自运维:给了一堆服务器指标,CPU、内存、磁盘写入、请求延迟,没有「哪段是故障」的标注,问「能不能自动找出不正常的时间段」。

两个问题的共同点是:没有标准答案。没有标签,就没法用监督学习那套「预测已知答案」的办法。但这不代表什么都做不了。无监督学习换了一个目标:不去预测标签,而是找数据本身的结构,比如哪些样本彼此相像、哪些方向能概括大部分变化、哪些点明显偏离大多数。

这篇讲三类最常见的无监督任务:聚类、降维和异常检测。重点不是公式,而是每类任务到底能回答什么问题、结果怎么评估、以及最容易踩的坑。特别是聚类:它产出的「群」不是业务上的「类别」,把两者直接等同,是这类项目翻车的主要原因。

没有标签,目标从预测变成找结构

有标签时,模型的目标很明确:让预测尽量接近答案。没有标签时,连「对错」都没有定义,只能退一步,用数据自身的性质来定义目标。常见的性质有三种:样本之间的相似性、特征之间的相关性、以及样本相对整体的偏离程度。

相似性:把彼此靠近的样本归到一起,这就是聚类。它回答「数据里有没有自然形成的组」。
相关性:把高度相关的特征合并成少数几个方向,这就是降维。它回答「能不能用更少的维度保留大部分信息」。
偏离程度:找出离大多数样本很远、或密度很低的点,这就是异常检测。它回答「哪些样本不像这个数据集里的正常成员」。

这三种目标都不依赖标签,所以叫无监督。但它们也没有「正确答案」。同一批数据,换个距离度量、换个簇数量,聚类结果可以完全不同;异常检测换个阈值,异常点的数量就从三个变成三十个。结果的合理性要靠人结合业务判断,而不是靠一个自动算出来的分数。

这也是无监督项目最容易低估的地方:它不给你一个可以直接上线的预测值,而是给你一个需要解释的结构。解释得好,它能帮你发现之前没想到的分群;解释得不好,它就是一堆没有意义的编号。

聚类:k-means 到底在做什么

k-means 是最常用的聚类算法之一。它的目标很朴素:把样本分成 k 个组,让每个样本到自己组中心的距离平方和尽量小。做法是反复两步:先把每个样本分给最近的中心,再重新计算每个组的中心,直到中心不再移动。

k-means 的一轮迭代
选初始中心从数据里挑 k 个点,或随机生成
分配样本每个样本归到距离最近的中心
更新中心用组内样本的均值重新算中心
检查收敛中心不再变化就停止,否则继续

下面这段用标准库实现二维点的 k-means,初始中心故意选在两个明显分开的位置。输出会显示两轮之后中心就稳定了:

import statistics

points = [(1, 1), (1.5, 1.2), (1.2, 0.8), (5, 5), (5.2, 4.8), (4.9, 5.1)]
centers = [(1, 1), (5, 5)]

for step in range(1, 5):
    labels = []
    for p in points:
        d0 = (p[0] - centers[0][0]) ** 2 + (p[1] - centers[0][1]) ** 2
        d1 = (p[0] - centers[1][0]) ** 2 + (p[1] - centers[1][1]) ** 2
        labels.append(0 if d0 < d1 else 1)

    new_centers = []
    for k in (0, 1):
        group = [p for p, label in zip(points, labels) if label == k]
        new_centers.append((
            round(statistics.mean(x for x, _ in group), 2),
            round(statistics.mean(y for _, y in group), 2)
        ))

    print("第", step, "轮 中心", new_centers, "归属", labels)
    if new_centers == centers:
        break
    centers = new_centers

本机实际输出:

第 1 轮 中心 [(1.23, 1.0), (5.03, 4.97)] 归属 [0, 0, 0, 1, 1, 1]
第 2 轮 中心 [(1.23, 1.0), (5.03, 4.97)] 归属 [0, 0, 0, 1, 1, 1]

两轮就收敛,是因为数据本身就分得很开。真实数据不会这么听话:组和组之间可能互相挨着,初始中心选得不好会收敛到不同的划分,甚至出现一个空组。所以实际使用时要多次随机初始化,取目标函数最小的那次,而不是跑一次就信。

k-means 还有两个隐含假设:每个组大致是球形、且大小相近。如果真实数据是长条形或密度差别很大,k-means 会切错。遇到这种情况,密度聚类或层次聚类更合适,但它们的参数更难调,结果也更难解释。算法选择要和数据的形状匹配,不是越复杂越好。

k 怎么定:没有标准答案的选择题

k-means 要求你事先给出 k,这个数字不是数据里自动长出来的。最常用的两种辅助方法是肘部法和轮廓系数,它们都只是参考,不能替你做决定。

肘部法的做法是分别用 k 等于 1、2、3 等跑一遍,画出「组内距离平方和」随 k 变化的曲线。k 增大时这个值一定下降,因为组越多,每个点离中心越近。要找的是下降速度突然变缓的那个拐点,像手肘一样。拐点之后再加组,收益很小。

轮廓系数则衡量「样本离自己组近、离别的组远」的程度,取值大约在负一到一之间。越接近一说明分得越开,接近零说明两个组混在一起。它比肘部法更客观,但计算量更大,而且同样不能保证选出业务上有意义的 k。

最重要的一步其实是业务解释。分成五群,如果每群都能用一句话说清楚「他们是谁、行为有什么不同」,这个 k 就有价值;如果分完只是把用户随机切成五份,每份的画像都差不多,那 k 等于五只是数学上的划分。k 的选择最终要回到「分了之后准备做什么」。

不要用聚类结果反过来证明 k 选得对。任何 k 都能跑出结果,也都能算出某个指标。判断标准是:这些组在业务上是否可区分、是否对应不同的动作、换一批数据后是否还能稳定复现。

降维:把很多列压成少数方向

降维解决的是另一类问题:特征太多。几十列特征里,很多列高度相关,比如「近七天登录次数」和「近三十天登录次数」,信息大量重叠。降维想用少数几个新方向概括大部分变化,最常用的是主成分分析,也就是 PCA。

PCA 的直觉很简单:在所有可能的方向里,找方差最大的那个方向作为第一主成分;再找与它垂直、方差第二大的方向作为第二主成分,依次类推。方差大意味着样本在这个方向上分得开,信息多。把数据投影到前几个主成分上,就用更少的维度保留了大部分差异。

降维最常见的用途是可视化。原本二十维的数据没法画图,取前两维投影到平面上,能大致看出有没有分群、有没有明显的离群点。但要注意,图上看起来分开的两团,可能在剩下的十八维里是连在一起的。二维图只是一个视角,不是全部真相。

第二个用途是压缩和加速。把几百维的文本向量压到几十维,下游模型训练更快,存储更省。代价是会丢信息,压缩比例越高,丢得越多。要比较压缩前后的任务指标,而不是只看「保留了多少方差」。保留 95% 的方差,不代表保留了 95% 的预测能力。

第三个用途是去噪。把方差极小的方向当成噪声丢掉,有时能提升效果。但如果噪声和信号混在同一个方向里,降维会把信号一起丢掉。PCA 不区分「有用」和「无用」,它只按方差大小排序,这一点必须记清楚。

异常检测:找出不像正常成员的点

异常检测的目标是找出偏离大多数的样本。方法有很多,最简单的两种是距离法和统计法。距离法看一个点离最近的邻居有多远,统计法看一个值偏离均值多少个标准差。后者就是常说的 z 分数。

下面这段对一组请求延迟做 z 分数计算。前八个值是正常波动,最后一个是 95 毫秒的尖刺:

import statistics

values = [12, 13, 11, 14, 12, 13, 9, 12, 95]
mean = statistics.mean(values)
std = statistics.pstdev(values)

print("均值", round(mean, 2), "标准差", round(std, 2))
for v in (9, 12, 95):
    print("值", v, "z 分数", round((v - mean) / std, 2))

本机实际输出:

均值 21.22 标准差 26.12
值 9 z 分数 -0.47
值 12 z 分数 -0.35
值 95 z 分数 2.82

注意一个反直觉的现象:95 这么明显的尖刺,z 分数只有 2.82,原因是它自己也参与了均值和标准差的计算,把标准差撑大了。样本越少,单个极端值对统计量的影响越大。实际做异常检测时,通常用历史正常数据估计均值和标准差,再拿新数据来打分,而不是把可疑点也算进基线。

阈值怎么定同样没有标准答案。按 z 分数大于三算异常,在近似正态的数据上大约对应千分之三的比例;但真实指标往往偏态、有周期性,固定阈值会误报。更稳的做法是结合业务:连续三个窗口超阈值才报警,或者同时满足绝对值和相对变化才报警。异常检测的目标不是找出所有偏离点,而是找出值得人去看的点。

还要区分「异常」和「罕见」。一个从没出现过的请求路径可能很罕见,但不一定是攻击;一个每天凌晨都会出现的流量高峰看起来偏离均值,但它是正常规律。检测算法只看偏离程度,业务含义要人来补。

无监督结果怎么评估

没有标签,就不能用准确率。评估只能从三个角度做:内部结构是否紧、结果是否稳定、以及人能否解释。

内部结构看组内距离和组间距离的比值,前面提到的轮廓系数就是其中一种。它衡量「组内够紧、组间够远」,数值高说明划分在几何上合理。但几何合理不等于业务合理,两个完全无关的群也可能因为距离远而得到高分。

稳定性看换数据、换初始化、换参数后结果是否一致。把样本随机抽掉一成,重新聚类,如果大部分样本的归属没变,说明结构比较稳;如果归属大面积翻动,说明当前的划分很可能是在拟合噪声。稳定性比单次指标更能说明问题。

可解释性看每个组能否用少数特征描述。一个组如果只能用「第 37 号簇」来称呼,它就没有业务价值;如果可以说「高频低客单、主要在周末下单」,它就能转化成动作。聚类结果最终要变成人话,否则只是一个中间产物。

异常检测的评估更麻烦。没有故障标注时,只能靠人工抽检:把被判为异常的样本拿出来看,统计其中真正值得处理的比例。这个比例低,说明误报多,阈值要收紧;比例高但漏掉了很多已知问题,说明阈值太松。抽检是这类系统必须保留的环节,不能全自动。

结果不对,按这张表查

无监督项目没有「训练集准确率」这种报警信号,问题通常表现为「结果没法用」。下面按现象倒查:

现象真实原因第一步查什么
聚类结果每次跑都不一样初始化随机,或数据没有明显结构固定随机种子并多次初始化,比较不同次的目标函数值
某一组特别大,其余组很小距离度量被量纲大的特征主导先做标准化,再检查每个特征对距离的贡献
分出来的组业务上说不清聚类按几何距离分组,和业务维度不一致把组内特征均值列出来,看差异是否集中在有意义的字段
换一个月数据,分组全变了结构不稳定,或数据分布发生漂移对比两个月的特征分布,检查是否有新渠道或新品类
异常检测报警太多阈值按正态分布假设定,实际数据偏态看历史报警的人工确认率,按分位数而不是固定 z 值定阈值
异常检测漏掉明显故障故障点参与了基线统计,把阈值撑大了用历史正常区间重算均值和标准差,或改用稳健统计量
降维后下游效果变差丢掉的方向里含有预测信号逐步增加保留维度,观察下游指标随维度变化的曲线

边界与代价

最大的边界是「聚类不等于分类」。聚类产出的是几何上的组,分类需要的是业务上的类。两组之间可能只差一个连续特征的高低,没有明确的分界;也可能真正的类别藏在聚类没使用的字段里。把聚类编号直接当成用户类型去做策略,很容易出现「同一群用户被推了完全不该推的东西」。

第二个边界是尺度敏感。k-means 和距离类方法都依赖特征尺度。金额以元计、年龄以岁计,距离会被金额完全主导。标准化是必需步骤,但标准化参数要用训练数据估计,不能把未来数据混进来。类别特征也不能直接编号后当距离用,需要先编码。

第三个边界是随机性。k-means 的初始中心、异常检测的抽样、降维的数值求解,都可能带来随机波动。结果不稳定时,不要急着解释「为什么这周分群变了」,先确认是不是初始化不同。固定种子、多次重复、报告稳定性,是无监督项目的基本功。

第四个边界是解释成本。无监督给你的是结构,不是结论。要把它变成可用的洞察,需要业务同学参与命名、验证和筛选。很多项目止步于「跑出了五个簇」,不是因为算法不行,而是因为没有人愿意花时间把五个簇翻译成五条可执行的动作。

当天能自验的五个练习

  1. 把 k-means 的初始中心改成 [(1, 5), (5, 1)],重跑,观察是否还能收敛到同样的分组。记录两种初始化的差异。
  2. 在六个点里加一个 (3, 3),重跑 k-means,看它被分到哪一组,并解释为什么。
  3. 把 z 分数实验里的 95 改成 55,重新计算均值和标准差,观察 55 的 z 分数是否比 95 更小。解释原因。
  4. 把 z 分数实验改成只用前八个值估计均值和标准差,再给 95 打分,比较和之前的差别。
  5. 找一份你手上的多维数据,先做标准化,再取前两个主成分画散点图。写下图上看到的两个现象,并各找一条可能推翻它的理由。

小结

无监督学习在没有标签时找数据结构:聚类找相似的组,降维找能概括变化的方向,异常检测找偏离大多数的点。它们都没有标准答案,结果要靠稳定性、内部结构和业务解释三方面共同判断。聚类出来的组不是类别,降维丢掉的也不一定是噪声。

下一篇回到有标签的场景,进入训练循环:损失函数、梯度和一次参数更新到底发生了什么。你会看到,模型「学习」的过程其实就是反复算误差、算方向、挪一小步。