运营发来一个 Excel,文件名是「用户流失分析_2026Q3.xlsx」,附言很直接:「这里有十万个用户,最后一列 churn 标了他们有没有流失,你训练个模型,看看哪些人要跑。」打开一看,前面二十多列从年龄、城市、订单数到客服通话时长都有。
如果直接把这二十多列全塞进模型,最后一列当答案,代码确实能跑,指标也能出来。但大多数这样的第一次尝试,会在上线后被发现毫无用处。问题通常不在算法,而在表格本身:哪些列能当输入、最后一列到底怎么来的、这一行数据对应的是哪个时间点,这三件事没搞清楚,模型学到的就是一堆假关系。
这篇把一行训练数据拆开讲:标识、特征、标签、时间分别是什么;标签有哪几种来源,各自的噪声从哪来;不同种类的特征怎么变成模型能算的数;以及最常见的「特征泄漏」是怎么把离线指标抬得很高、线上却一塌糊涂的。读完你应该能独立审查一份训练表,而不是拿到就喂给模型。
一行训练数据,其实是四样东西
把表格横着看,一行是一条样本;竖着看,一列是一个字段。但字段并不是平等的,它们承担四种不同角色。混在一起用,是后面大多数错误的起点。
最常见的误用是把标识当特征。用户编号从 10001 到 99999,模型会认为编号越大越重要,甚至记住「编号 10023 的人一定流失」。这类特征在训练集上可能很有效,上线后遇到新用户编号就完全失效。正确做法是把它留作主键,训练前删掉。
另一类误用是把「结果字段」误当成「过程字段」。比如表格里有「退款是否通过」,也有「是否流失」,两个字段几乎完全同步。模型一看就能到 99% 准确率,但这个字段只有在用户已经流失之后才会产生,预测时根本拿不到。这就是特征泄漏,后面会单独讲。
还要先确定「一行代表什么」。一个用户一行,和一天一行、一次会话一行,是完全不同的数据集。粒度决定了特征的统计窗口,也决定了标签怎么定义。如果一行是一个用户,那「近三十天订单数」是一个汇总值;如果一行是一天,同样的字段就要改成「当天订单数」。粒度没定清楚,后面的切分、去重和评估都会跟着乱。
标签从哪来:四种来源,四种噪声
标签不是天上掉下来的。它总有一个产生过程,而这个过程决定了标签的质量。常见来源有四种,噪声特征完全不同。
人工标注
请人逐条判断,比如评论是否违规、图片是否含敏感内容。质量取决于标注规范和标注者一致性。同一条样本两个人给出不同答案,就是标签噪声。需要抽检和多人复核。
业务结果回填
等事情发生后再记录,比如用户是否续费、订单是否退款。这类标签最真实,但往往要等很久,而且只覆盖走到那一步的用户,没走到的用户没有标签。
日志规则推导
用行为日志算出标签,比如「连续七天未登录算流失」。成本低、覆盖全,但定义是人为定的。阈值改一次,整个训练集的标签分布就变了,历史模型无法直接比较。
弱标签与代理标签
拿一个相关但不等价的指标代替,比如用「点击」代替「满意」。便宜,但目标被稀释。模型会把点击率高但用户并不满意的内容推上来。
选择标签来源,本质上是在成本、覆盖和准确性之间取舍。人工标注准但贵,业务回填真但慢,日志推导快但定义随意,弱标签便宜但偏。没有哪种最好,关键是把噪声和偏差写进评估结论,别把「标签定义」当成客观真理。
还要注意标签的时间边界。用「未来三十天是否流失」做标签,就必须保证特征只统计到预测点之前。如果特征窗口是「最近三十天订单数」,而预测点正好在窗口末尾,那么这三十天里可能已经包含了标签观察期内的行为,模型等于偷看了未来。
特征分四类,处理方式完全不同
特征不是「一堆数字」。按形态分,至少有数值、类别、文本、时间四类,每类的编码方式和坑都不一样。
| 特征类型 | 例子 | 怎么变成数值 | 常见坑 |
|---|---|---|---|
| 数值 | 年龄、金额、次数 | 直接使用,必要时标准化或分箱 | 极端值把均值拉偏;量纲差异让距离类模型失真 |
| 类别 | 城市、渠道、设备类型 | 独热编码或目标编码 | 类别过多导致维度爆炸;新类别上线后模型不认识 |
| 文本 | 评论、标题、搜索词 | 词袋、哈希或预训练向量 | 直接当类别会爆炸;大小写和标点没统一 |
| 时间 | 注册时间、最后登录 | 转成距今天数或周期性编码 | 用绝对时间会让模型记住「2026 年的人容易流失」 |
类别特征最容易出问题。把「城市」直接映射成 1 到 300 的编号,模型会认为第 300 个城市比第 1 个城市「更大」,这在多数模型里是无意义的。独热编码把每个类别变成一列 0/1,能消除大小关系,但类别多时列数会膨胀。类别特别多时,常用目标编码或哈希,但两者都有泄漏和碰撞风险,需要额外处理。
数值特征的主要问题是量纲和分布。一个以「元」为单位的金额和一个以「次」为单位的次数放在一起,距离计算会被金额主导。标准化能把它们拉到可比的尺度,但标准化参数只能用训练集算,不能把验证集和测试集一起算进去,否则又是一次泄漏。
时间特征则要区分「绝对时间」和「相对时间」。注册日期 2020-01-01 本身没有预测意义,但「注册至今多少天」有。把日期直接转成时间戳,模型可能学到「越晚注册的人越容易流失」,这其实是数据采集周期造成的假象,不是用户行为规律。
缺失值不是零,也不一定是错误
表格里的空单元格很常见。很多人的第一反应是填 0 或填平均值,然后继续训练。但缺失本身可能就是信息:没有填写年龄的用户,可能是不愿透露信息的一类人;没有客服通话记录的用户,可能是从来没联系过客服,这比「通话时长 0 分钟」含义更强。
处理缺失值要先分清三种情况:随机缺失、与标签相关的缺失、以及「这个字段对这类用户根本不存在」。第一种可以填均值或中位数;第二种要把「是否缺失」单独做成一列 0/1 特征;第三种要按业务含义填一个特殊值,而不是硬塞 0。
数值特征还要处理极端值和分布形状。少数异常值会把均值和方差拉得很偏,让标准化后的正常样本挤在一小段区间里。常见做法是先看分位数,必要时做截断或对数变换,而不是直接假设数据服从正态分布。这一步没有统一公式,要结合字段的业务含义判断。
下面这段用标准库读一份内嵌的小表,做三件事:看标签分布、看缺失、看某个字段和标签的关系。重点看最后一行的输出,它揭示了一个不该进模型的特征。
import csv, io, statistics
raw = """user_id,age,city,orders_30d,refund_passed,churn
u01,25,上海,3,yes,yes
u02,34,北京,1,yes,yes
u03,28,上海,5,no,no
u04,,深圳,2,no,no
u05,41,北京,4,yes,yes
u06,22,杭州,0,no,no
u07,35,上海,6,no,no
u08,29,深圳,1,yes,yes
u09,46,北京,2,no,no
u10,31,杭州,7,no,no
"""
rows = list(csv.DictReader(io.StringIO(raw)))
print("样本数:", len(rows))
print("标签分布:", {v: sum(1 for r in rows if r["churn"] == v) for v in ("yes", "no")})
print("年龄缺失:", sum(1 for r in rows if not r["age"]))
print("城市分布:", {c: sum(1 for r in rows if r["city"] == c) for c in ("上海", "北京", "深圳", "杭州")})
ages = [int(r["age"]) for r in rows if r["age"]]
print("年龄均值:", round(statistics.mean(ages), 1))
orders = [int(r["orders_30d"]) for r in rows]
print("订单数均值:", round(statistics.mean(orders), 2))
for label in ("yes", "no"):
subset = [r for r in rows if r["churn"] == label]
mean_orders = statistics.mean(int(r["orders_30d"]) for r in subset)
print("流失=" + label, "订单均值", round(mean_orders, 2))
leak = all((r["refund_passed"] == "yes") == (r["churn"] == "yes") for r in rows)
print("退款字段与标签完全一致:", leak)
本机实际输出:
样本数: 10
标签分布: {'yes': 4, 'no': 6}
年龄缺失: 1
城市分布: {'上海': 3, '北京': 3, '深圳': 2, '杭州': 2}
年龄均值: 32.3
订单数均值: 3.1
流失=yes 订单均值 2.25
流失=no 订单均值 3.67
退款字段与标签完全一致: True
最后一行是这节的重点:refund_passed 和 churn 在十条样本上完全一致。它看起来是一个强特征,实际上是一个结果字段。用它训练,模型不需要学任何行为规律,只要抄这一列就能满分,但线上预测时这一列根本还不存在。这类字段必须在训练前删掉,或者严格限制在「预测时刻已经确认」的范围内。
特征泄漏:离线 99%,上线 60%
特征泄漏指的是:训练时用了预测时不可能拿到的信息。它有几个典型形态,认出来一个就能避开一大片。
第一种是结果泄漏。比如用「是否已退款」预测「是否流失」,用「订单最终金额」预测「是否会下单」。这些字段在预测时刻还没产生,训练集里却已经填好了。
第二种是时间穿越。特征统计窗口覆盖了标签观察期。比如要预测用户下个月是否流失,却用了「最近三十天登录次数」,而训练样本的截止时间在标签观察期之后。模型看到的是未来行为,不是预测时能看到的过去行为。
第三种是分组泄漏。同一个用户的多条记录被随机分到训练集和测试集,模型记住了这个用户,而不是学到规律。正确做法是按用户分组切分,保证同一个用户只出现在一边。
第四种是预处理泄漏。标准化、填充缺失值、选择特征时用了全量数据,测试集的信息提前进入了训练流程。正确做法是把这些步骤放进训练管道,只在训练集上拟合参数,再应用到验证集和测试集。
上线后对不上,按这张表查
数据问题很少在训练时报错,它们通常表现为「效果不好」。下面按现象倒查,比盲目调参快得多。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 离线准确率接近满分 | 存在结果字段或时间穿越 | 逐个特征问「预测时是否已确定」,重点查金额、状态、退款类字段 |
| 训练集和验证集差距巨大 | 切分时同一用户或同一时段跨了两边 | 检查切分键,按用户或按时间切,而不是随机切行 |
| 新用户预测效果特别差 | 类别特征出现训练集没有的新取值 | 统计线上类别取值分布,看有多少落在训练集词表外 |
| 模型对某城市一律判流失 | 该城市样本极少,模型用少量样本记住了噪声 | 按类别统计样本量,合并长尾类别或改用更稳的编码 |
| 同一用户两次预测结果不同 | 特征窗口未对齐,或者实时特征与离线特征口径不同 | 对比同一用户在离线表和线上特征服务里的字段值 |
| 缺失值填充后效果反而下降 | 缺失本身带有信息,被均值抹掉了 | 加一列「是否缺失」,对比填充前后验证集指标 |
| 标签比例和业务认知对不上 | 标签定义或统计口径变了 | 核对标签生成规则、时间范围和去重逻辑 |
边界与代价
把数据整理好,通常比选模型更花时间。一份能用的训练表,背后要做字段对齐、口径统一、去重、时间对齐和标签复核。很多项目里,这部分工作占七成以上,而且不容易被看见。省掉它,模型指标再高也只是在拟合错误。
标签成本是另一条硬边界。人工标注要钱,业务回填要等,弱标签会偏。样本量不够时,复杂的特征工程反而容易过拟合。这时候更稳的做法是减少特征、用简单模型、扩大样本,而不是硬上一个深模型。
还有隐私和合规。用户标识、精确位置、联系方式这类字段,即使技术上能拿到,也不一定能用于训练。上线前要确认字段的使用范围、脱敏要求和保存期限。模型本身不记忆个人信息,但特征里可能带着个人信息。
最后是特征的可维护性。线上特征服务要和离线表保持同一口径,否则训练和预测就是两套数据。字段口径变了却没有同步,模型会安静地退化。把特征定义写成文档、加上监控,是比调参更值钱的投入。
数据版本也值得单独管。同一份训练表,隔一个月重新导出,用户范围、字段口径、去重规则都可能变了,但文件名还叫「用户流失分析」。没有版本记录,就无法解释两次训练为什么结果不同。至少把导出时间、样本范围、字段定义和过滤条件记下来,比事后猜要省事得多。
当天能自验的五个练习
- 把上面的小表复制到本地,删掉
user_id再跑一遍,观察输出是否变化。想一想:为什么删掉标识列不会影响统计结果,但会影响模型? - 把
age的缺失值分别填 0、填均值 32.3、加一列「年龄是否缺失」,各训练一个最简单的阈值模型,比较验证集准确率。 - 把
refund_passed从特征里删掉,只用orders_30d预测流失,看准确率掉到多少。解释这个下降为什么是好事。 - 把样本按时间排序,用前七条训练、后三条验证,再和随机切分的结果对比。记录两次的差距。
- 找一份你工作里真实的数据表,列出每一列属于标识、特征、标签还是元信息,标出至少一个疑似泄漏字段。
小结
一行训练数据由标识、特征、标签和时间四部分组成。标识用来对齐,不能当输入;特征必须是预测时拿得到的;标签来自标注、业务回填、日志推导或弱标签,每种都有噪声;时间决定了特征有没有偷看未来。
数据表审查的核心问题只有一个:预测发生的那一刻,这一列的值是否已经确定。答不上来,就先别训练。下一篇进入监督学习,讲清楚分类和回归分别在预测什么,以及哪些问题看起来像预测、其实不该用监督学习解决。