周会上有人放了一张图:站内问卷显示 82% 的用户喜欢刚上线的推荐功能。会后有人追问,问卷发给了谁。答案是,问卷只在「个人中心」弹出,一周内点开并提交的人占全站用户的 3%,剩下 97% 的人没表达意见。

另一个现场更隐蔽。某投放渠道转化率 31%,其余渠道平均 6%,负责人要求把预算全挪过去。查了名单才发现,这个渠道只对老用户开放,进去的人早就有账号、有浏览记录、有支付方式。31% 里同时装着渠道质量和用户质量。

两件事的共同点是:我们以为在测量用户,其实只是在采样,再拿样本比例去猜总体比例。猜得准不准,取决于样本怎么进来的。这篇讲总体与样本的关系、偏差与方差为什么是两件事、常见偏差类型、抽样方法、加权修正和口径清单。

总体、样本、参数、估计量

四个词,一句话各自说清。总体是你要下结论的整个集合,比如本周所有活跃用户;样本是实际取到的那一部分;参数是总体的某个数值特征,通常未知,比如总体满意度 μ;估计量是拿样本算出来的量,用来猜参数,比如样本均值 x̄。

区别在于「谁是随机的」。参数是固定的数,只是不知道它等于多少;估计量是随机变量,换一批样本就换一个值。同一总体、同一方案反复抽一千次,会得到一千个不同的 x̄,它们的分布叫抽样分布(sampling distribution)。指标骗人,有一半原因在这个分布没人想过。

import random, statistics
random.seed(20261106)
pop = [random.gauss(100, 15) for _ in range(5000)]
mu = sum(pop) / len(pop)
est = []
for _ in range(1000):
    s = random.sample(pop, 30)
    est.append(sum(s) / 30)
print(round(mu, 2))
print(round(min(est), 2), round(statistics.pstdev(est), 2), round(max(est), 2))
99.77
92.02 2.76 107.36

第一行是总体均值 99.77;第二行是这一千个估计值的最小值 92.02、标准差 2.76、最大值 107.36。独立抽 30 个的理论标准差是 σ/√n = 15/√30 ≈ 2.74,和实测的 2.76 几乎一致。估计量的抖动不是玄学,它有公式。

样本均值是无偏的,理由很短:每个被抽中的个体,期望都等于 μ,和的期望等于期望的和,所以 E[x̄] = μ。它只用到一个前提,每个个体被抽中的机会相同,不包括抽到的都是同一类人。无偏性写在抽样方案里。

偏差是系统性的错,方差是抖动

偏差(bias)的定义只有一行:bias(θ̂) = E[θ̂] − θ。其中 θ̂ 是估计量,θ 是真值,期望是对抽样方案的所有可能结果取的。偏差为正说明平均估高,为负说明系统性估低。方差量的是另一件事:估计值围绕自己的期望散得多开。

两者可以独立变化。方差很小但偏差很大,就是每次稳定地错,像一把刻度偏了的尺子;方差很大但偏差为零,平均下来对,单次结果却没法用。MSE = bias² + Var,所以用一点无偏性换方差的大幅下降,是合理的。

收敛速度也不一样。方差按 1/n 缩小,标准差按 1/√n 缩小;偏差不随 n 缩小,它是抽样方案自带的常数。样本量从一千加到一百万,抖动会消失,歪掉的方向不会自动纠正。

import random
random.seed(20261106)
# 10000 个用户按活跃度从高到低排列:前 1000 人满意度 0.85,其余 0.40
pop = []
for i in range(10000):
    p = 0.85 if i < 1000 else 0.40
    pop.append(1 if random.random() < p else 0)

truth = sum(pop) / len(pop)
for n in (100, 1000):
    est = sum(pop[:n]) / n
    print(n, round(est, 3), round(truth, 3), round(est - truth, 3))
100 0.9 0.446 0.454
1000 0.857 0.446 0.411

总体里满意的真实比例是 0.446。只取最活跃的前 100 个,估计值 0.9,高出 0.454;样本量加到 1000,估计值 0.857,仍高出 0.411。样本量翻了十倍,偏差只从 0.454 动到 0.411。

更准确的说法是:不是期望算错了,而是它没在估总体均值。前 100 个永远来自活跃度最高的一档,E[x̄] 对应的是「最活跃子群的均值」这个另一个参数。偏差的本质常常是估计量瞄错了目标。分母没换,抽取规则换了,目标就换了。

四类常见偏差

按来源分类比背定义有用,每一类都对应一个具体的排查动作。

选择偏差

谁进入样本,本身就和结果相关。只对老用户开放的渠道是典型:进入条件是「已注册且活跃」,而这个条件与转化率高度相关。

响应偏差

样本里的人都合格,但「愿意回答」不是随机的。满意度低的人更懒得填,投诉过的用户更愿意填,两个方向都会失真。

覆盖偏差

抽样框(能抽到的名单)不包含总体的某些部分。只用 App 埋点统计活跃,网页端用户从头到尾不在名单里。

时间窗口偏差

统计区间与现象的时间尺度不匹配。大促当天的日均值、新功能首周的留存率,都会被特殊时段拉偏。

四类偏差可以用一个问题串起来:这批人是怎么进来的?被条件筛进来的,先怀疑选择偏差;自己走进来的,先怀疑响应偏差;从名单里抽的,先看名单漏了谁;按时间切的,先看窗口内有没有异常事件。

还有一个常被混进来的概念:混杂(confounding)。它不是采样偏差,而是两组人除了要比较的因素之外,其他特征也不同。渠道例子里,渠道只是表象,用户新旧才是混杂因素。处理办法是分层、配对或随机分配实验,不是改抽样。

幸存者偏差:看不见的样本才关键

幸存者偏差(survivorship bias)是选择偏差里最出名的一种,经典案例来自二战。统计人员盘点返航飞机的弹孔,发现机翼中弹最多,建议加固机翼。真正该看的是没返航的飞机:发动机中弹的直接坠毁,进不了统计。返航样本里发动机中弹少,不是那里不容易中弹,而是中了的那批已经不在样本里。

它的数学形式很干净。设 S 表示「进入样本」这个事件,取 1 为进入、0 为没进入;Y 是要测的量,则有恒等式:

E[Y | S = 1] − E[Y] = Cov(Y, S) / P(S = 1)

推导只有两步:按全期望展开 E[Y] = E[Y|S=1]·P(S=1) + E[Y|S=0]·P(S=0),再整理成协方差。只要「进不进样本」与 Y 的大小相关,样本均值就必然偏离总体均值,方向由协方差符号决定。看不见的样本不是噪音,它们携带的正是偏差。

1000 个对象里,只有 100 个进入统计
全体 1000 全部对象,包含看不到的那部分 进入统计 100 只剩这一小段,它代表不了整体

用代码跑一遍。造 1000 个报名者,活跃天数与产出正相关;按活跃天数排序,只有前 100 人进入统计,另外 900 人被淘汰,我们完全看不到他们。

import random
random.seed(20261106)
people = []
for _ in range(1000):
    active = random.gauss(30, 15)
    output = 40 + 0.9 * active + random.gauss(0, 8)
    people.append((active, output))
people.sort(key=lambda x: x[0], reverse=True)
survivors = people[:100]
all_mean = sum(o for _, o in people) / len(people)
surv_mean = sum(o for _, o in survivors) / len(survivors)
print(len(survivors), len(people) - len(survivors))
print(round(all_mean, 2), round(surv_mean, 2), round(surv_mean - all_mean, 2))
100 900
66.59 90.65 24.06

全体均值 66.59,进入统计的 100 人均值 90.65,差 24.06,高出三成多。继续缩小样本,均值仍停在 90 附近,因为筛选规则始终只放高活跃的人进来。要修正,只能拿到被淘汰那 900 人的信息,或者改掉进入规则。

更隐蔽的版本天天发生:只统计成功返回的请求算接口成功率,只看走到支付页的用户算下单率,只对还在用的人做调研。这些分母都是被结果筛选过的子集。

四种抽样方法

抽样方案决定了估计量能不能用。四种常见做法,各有各的适用面。

简单随机抽样每个个体被抽中的概率相同,逐个独立抽取。最理想,前提是手里有一份完整名单。
分层抽样先按某个特征把总体分成互不重叠的层,层内各自抽,最后按层权重合并。
整群抽样以群为单位抽,比如抽中若干城市,城市里的人全部入样。执行便宜,但群内相似会让方差变大。
便利抽样谁方便就抽谁,比如只统计能联系上的用户。成本最低,却算不出误差,也不能推广。

分层能降方差,不是「分得更细」,而是把一部分变异从样本里拿掉了。总方差可以拆成层内与层间;分层后层间差异由设计固定住,波动只剩层内部分。层内越同质降得越多。如果分层变量与 Y 无关,几乎不降,只多了一堆管理成本。

Var_srs(x̄) ≈ (1 − n/N) · S² / n
S² = 层内方差的加权平均 + 层间方差
Var_str(x̄) = Σ (N_h / N)² · (1 − n_h/N_h) · S_h² / n_h

造两层来对比。A 层 600 人,值集中在 10 附近;B 层 400 人,值集中在 20 附近。层内标准差都是 1,层间均值差 10,整体标准差被拉得很大。抽 100 个:简单随机直接抽;分层按 6:4 各抽 60 和 40,再按 0.6 和 0.4 合并。各重复 2000 次。

import random, statistics
random.seed(20261106)
a = [random.gauss(10, 1) for _ in range(600)]
b = [random.gauss(20, 1) for _ in range(400)]
pop = a + b
truth = sum(pop) / len(pop)

def srs():
    s = random.sample(pop, 100)
    return sum(s) / 100

def strat():
    sa = random.sample(a, 60)
    sb = random.sample(b, 40)
    return 0.6 * sum(sa) / 60 + 0.4 * sum(sb) / 40

e1 = [srs() for _ in range(2000)]
e2 = [strat() for _ in range(2000)]
print(round(truth, 3))
print(round(statistics.pstdev(e1), 4), round(statistics.pstdev(e2), 4))
print(round(sum(e1) / 2000, 3), round(sum(e2) / 2000, 3))
13.99
0.4705 0.0935
14.009 13.99

两种方案的均值都贴着真值 13.99,说明都没偏;标准差从 0.4705 掉到 0.0935,小了五倍。理论值也吻合:简单随机约 √(0.9×25/100) ≈ 0.474,分层约 √(0.36×0.9/60 + 0.16×0.9/40) ≈ 0.095。不增加样本量,只换抽取方式,误差小一个量级。

整群抽样以群为单位,成本低,但群内的人相似,有效样本量比名义小,方差通常更大。便利抽样更彻底:连误差都算不出来,因为不知道没被抽到的人长什么样。

样本歪了,加权还能救一部分

如果样本已经歪了,但知道总体在某个维度上的分布,还有一招:后分层加权(post-stratification weighting)。按这个维度把样本和总体都分层,给每层一个权重,权重等于该层在总体中的占比,除以该层在样本中的占比。

w_h = (N_h / N) / (n_h / n)

直觉是:样本里某层人太多,就把这层每个人的话语权调小;太少就调大。加权后,各层对总量的贡献比例回到总体比例。

young_n, old_n = 120, 80
young_rate, old_rate = 0.40, 0.80
n = young_n + old_n

raw = (young_n * young_rate + old_n * old_rate) / n
w_young = 0.5 / (young_n / n)
w_old = 0.5 / (old_n / n)
weighted = (w_young * young_n * young_rate + w_old * old_n * old_rate) / (w_young * young_n + w_old * old_n)
print(round(raw, 4), round(weighted, 4))
print(round(w_young, 4), round(w_old, 4))
print(round(0.5 * young_rate + 0.5 * old_rate, 4))
0.56 0.6
0.8333 1.25
0.6

样本 200 人,年轻 120、老年 80,满意度分别是 0.40 和 0.80。样本里年轻人占 60%,总体各占一半,所以年轻权重是 0.5/0.6 = 0.8333,老年是 0.5/0.4 = 1.25。直接平均 0.56,加权后 0.60,正好等于按总体比例算出的真值 0.5×0.40 + 0.5×0.80。

这个例子干净,因为只有两层且总体比例精确已知。现实里维度可能很多,交叉后每格样本很少,权重会极端;总体比例往往只有上一年度的数据,用旧分布修新样本,等于换一个假设。加权只能修已知维度的比例失衡,修不了没被记录的维度。

指标口径自查清单

下面六条,是上线前最值得花十分钟核一遍的东西。每一句都能单独把指标带偏。

分母是谁分母是全体用户、活跃用户,还是页面访问者?同一句「转化率 30%」,换个分母可以差出十倍。
是否去重一个人一天访问十次,算一次还是十次?没去重的「用户数」其实是访问次数。
时间窗口统计的是自然日、滚动 24 小时,还是活动周期?跨天、跨时区、跨周末都会改数。
机器人流量爬虫、监控探针、测试账号混进来,抬高点击率,压低转化率。
埋点丢失网络失败、版本未上报、拦截器漏发,分子消失分母还在,指标被动变小。
口径变更同一张看板改了统计逻辑却没标版本,环比就变成两个不同指标的对比。

共同点是:不是「算错了」,而是「算的不是那个东西」。口径问题最难查,因为数字自洽、报表能跑通,只是回答的问题和你以为的不一样。习惯是把分子、分母、去重规则、时间窗口、数据版本各写一行放在标题下;写不出来,说明指标还没定义。

一张现象对照表

辛普森悖论是口径问题里最反直觉的一种:分组看每组都在变好,合起来看却在变差。原因还是权重,两组人群构成不同,合并后占比大的那组主导了总指标。

A_new, A_new_c = 900, 180
A_old, A_old_c = 100, 60
B_new, B_new_c = 100, 15
B_old, B_old_c = 900, 495

for name, new, new_c, old, old_c in (("A", A_new, A_new_c, A_old, A_old_c),
                                     ("B", B_new, B_new_c, B_old, B_old_c)):
    print(name, round(new_c / new * 100, 1), round(old_c / old * 100, 1),
          round((new_c + old_c) / (new + old) * 100, 1))
A 20.0 60.0 24.0
B 15.0 55.0 51.0

两个渠道,A 在新用户里 20%、老用户里 60%;B 是 15% 和 55%。每一档 A 都更高,合并后 A 只有 24%,B 是 51%。差别不在转化能力,在人群结构:A 九成是新用户,B 九成是老用户。

现象真实原因第一步查什么
问卷满意度 82%,实际留存平平只有 3% 用户点了弹窗,愿意回答的人更认可产品,属于响应偏差对比答题者与未答题者的留存分布
某渠道转化率是别处五倍渠道只对老用户开放,用户质量与渠道效果混在一起按新老用户分层,看同层差距还在不在
大盘涨,每个分组都在跌高转化分组人数占比上升,拉高了总指标,属于辛普森悖论固定分组权重,重算加权总指标
留存率一夜掉十几个点发版漏报埋点,或统计窗口从 7 日换成自然日先看分子分母的量级变化,再核对原始日志
AB 两组人数偏离对半分流不均,或同一用户重复进组查分流键的哈希分布和重复进组日志
样本量翻倍,置信区间反而变宽分母口径、去重规则变了,或方差公式用错核对 n 的定义与方差计算代码
新增用户数暴涨一次访问被多条埋点重复上报,或混进机器人按设备与账号分别去重后再算

边界与代价

第一,偏差不能靠增大样本量消除。n 从 100 涨到 1000,偏差只从 0.454 降到 0.411。样本量解决的是抖动,不是方向。把一百万条有偏数据喂给模型,只会得到一个更精确的错误答案。

第二,加权依赖总体分布已知。后分层的前提是有一份可信的总体比例,通常来自上一轮普查或全量画像。如果总体在快速变化,用旧比例修新样本会引入新偏差;权重过于极端时,少数样本主导结果,有效样本量下降,标准误反而变大。

第三,分层需要正确的分层变量。变量要与结果相关,层内才同质;选了与 Y 无关的变量,方差基本不降。层分得太细也不行,每层只剩几个样本时,估计不稳,合并后方差会被放大。

第四,便利采样便宜但不可推广。抓前几页接口、只统计能联系上的用户,只能用来探索和找线索。它没有抽样方案,也就没有标准误,不能给置信区间,更不能做容量规划或对外承诺。

第五,抽样框不全时,前面所有方法都救不了:名单里根本没有的人,权重再精细也变不出来。只能补数据源或写明适用范围。

小结与练习

这篇的主线可以压成三句:指标是估计量,不是真值;偏差和方差是两种病,前者不会因为样本变大而自愈;先问样本怎么进来的,再问数字怎么算的。

当天可以自己验证的五件事:

  1. 造一个选择性采样:写一个 10000 人的总体,让某个特征与结果相关,按该特征排序取前 100 与全体对比,打印估计值与真值之差;再把 n 改成 1000 和 2000,看差值是否收敛。
  2. 模拟幸存者偏差:给 1000 个对象生成分数,按分数淘汰 900 个,只对剩下 100 个求均值并与全体比较;再打印被淘汰那批的均值,验证三者的关系。
  3. 跑分层与简单随机的方差对比:构造两层,层内标准差相同、层间均值差较大,各重复 1000 次,打印两种方案的标准差,并与理论值对照。
  4. 做一次后分层加权:给样本设计一个与总体不一致的年龄结构,按 w_h = (N_h/N)/(n_h/n) 加权,比较加权前后的估计值与真值;再把某层权重乘 2,看估计值偏多少。
  5. 用分组数据构造辛普森悖论:两个渠道、两个用户群,让每个分组里 A 都优于 B,但合计后 B 优于 A,写出四行转化率并核对总体数字。

五个组,一层一层叠起来

到这里,概率与统计这一组结束,整个「计算机数学」方向也到此为止。回头看,五个组在回答五个不同的问题,各自守着同一段训练代码的一层。

离散数学给结构:集合定义哪些东西算一类,关系定义谁和谁有联系,图定义谁依赖谁,计数回答有多少种可能。微积分给变化率与累积:导数回答此刻往哪走最快,积分回答把无数小片加起来是多少。线性代数给空间变换与梯度:矩阵把向量搬到另一个空间,特征值决定反复应用后是放大还是衰减,参数更新沿着梯度平移。

拓扑给连续与形状。它不关心距离,只关心连不连通、有没有洞、变形时什么不变;流形假设与模型的连通性都是这一层的语言。概率统计给不确定性,它给前面四层套上「样本只是样本」的自觉:均值是随机变量,验证集是总体的一次抽样,指标同时带着偏差和方差。

这五层不是并列的目录,而是同一件事的五个侧面。一段训练代码里,数据结构与依赖是离散数学,梯度与累积是微积分,张量运算是线性代数,表征的连续性是拓扑,结果能不能推广是概率统计。缺了任何一层,代码照样能跑,结论却会变味;有了概率统计,你会记得每个结论后面都附着一个抽样方案和一组假设。