「新版本转化率 3.4%,旧版本 3.0%,涨了 0.4 个百分点,下周全量。」周会上有人把这张 A/B 实验报表投到屏幕上。另一派立刻反驳:这 0.4 个点可能只是这几天流量的随机波动,样本里多来几个愿意下单的人就够了。两边看的是同一张表,争的却不是数字本身,而是数字背后那点不确定性到底有多大。

同一场会上还有第二个问题,来自刚接手报表的同事:转化率是「转化人数除以访问人数」,可「用户是否转化」这种是或者否的结果,在数据库里就是一列真假值,怎么做平均?在他的印象里,平均只能对数字做,对错和对做不了。这两个问题其实是一件事的两面:概率统计的第一步,是把现实里的结果编码成数,然后才谈得上加减乘除、比较和检验。

这篇就讲这个编码过程:先把结果映射成数,再用分布描述这些数,最后说清两个数之间的关系与独立性。

随机变量不是变量,是函数

一次试验所有可能结果的集合叫样本空间(sample space),通常记作 Ω。掷一枚骰子,样本空间就是六个面:1 到 6。随机变量(random variable)是从样本空间到实数的函数,也就是把每一个结果对应成一个数。写成 X(ω) ∈ ℝ(对每个 ω ∈ Ω)更准确:两边的地位并不对等,一边是一堆结果,另一边是普通的数。

掷骰子的例子里可以定义很多个随机变量。令 X(ω) = ω,X 就是点数;令 Y(ω) = 1(当 ω 大于 4),否则 Y(ω) = 0,Y 就是「是否大于 4」这件事。同一个样本空间,两套观察口径,两个完全不同的随机变量。它们的区别不在骰子,而在你决定记录什么。

这里有个必须说清的记号约定:大写 X 指函数本身,小写 x 指它取到的某个具体值。P(X = x) 读作「X 等于 x 的概率」,严格意思是「所有满足 X(ω)=x 的结果 ω 组成的集合,其概率是多少」。它看着像在比较两个数,实际是在样本空间里挑出一批结果。

还有一点常被忽略:随机性不在函数上。给定一个结果 ω,X(ω) 是一个确定的数,算一遍和算十遍都一样。真正不确定的是这一次试验落到哪个 ω。把这两层混在一起,就会写出「随机变量自己会变」这种糊涂理解,也会在代码里把「生成样本的规则」和「已经生成的样本」当成同一个对象。

用代码把两种映射同时跑一遍。固定随机种子,掷 1000 次,既记录点数,也记录「是否大于 4」的 0/1 值。

import random

random.seed(20261106)
rolls = [random.randint(1, 6) for _ in range(1000)]
counts = {k: rolls.count(k) for k in range(1, 7)}
print(counts)
flag = [1 if r > 4 else 0 for r in rolls]
print(flag.count(0), flag.count(1))

本机 Python 3.15 上的真实输出:

{1: 156, 2: 159, 3: 179, 4: 169, 5: 163, 6: 174}
663 337

六个面分别出现 156 到 179 次,并不平均,说明 1000 次还不足以把骰子磨平。另一路编码的结果是 663 个 0、337 个 1,也就是 33.7% 的次数落在 5 或 6,理论值是三分之一。同一批结果,两种映射,两套计数,各自都能讲出一个故事。

把阈值从「大于 4」改成「大于 3」,同一批结果,Y 的分布立刻从三分之一对三分之二变成一半对一半。随机变量不生产数据,它只给数据定口径;换个定义,同一份原始数据就会得到另一套分布。

离散与连续:先把能数的讲清

离散型随机变量只取有限个或者可数个值。可数的意思是能一个个编号,比如 0、1、2 一直排下去。它的分布用概率质量函数(probability mass function,简称 pmf)描述:p(x) = P(X = x)。这个函数要满足两条硬条件:每个 p(x) 非负;所有取值的概率加起来正好等于 1。

骰子的 pmf 是每个面 1/6。注意这是模型给出的数,不是掷出来的频率。模型说六个面等可能,实测才会出现上面那种 156 到 179 的偏差;样本越大,频率越贴近 1/6。把两者分开,是后面理解大数定律的前提。

from collections import Counter

random.seed(20261106)
rolls = [random.randint(1, 6) for _ in range(1000)]
pmf = {k: v / 1000 for k, v in sorted(Counter(rolls).items())}
print({k: round(v, 3) for k, v in pmf.items()})
print(round(sum(pmf.values()), 6))
{1: 0.156, 2: 0.159, 3: 0.179, 4: 0.169, 5: 0.163, 6: 0.174}
1.0

所有频率加起来是 1.0,因为 1000 次全部落进了六个桶,既没有遗漏也没有重复计数。这条「加起来等于 1」不是形式要求,它是检查分布有没有算错的最快手段。手算 pmf 时漏掉一个取值,或者在变换后把同一段原像数了两遍,总和立刻偏离 1,比你逐项核对快得多。

连续型随机变量取到某个具体值的概率是 0,所以不能再用「点上的质量」来描述。它用概率密度函数 f 描述,落在区间里的概率是密度在这个区间上的积分:P(a < X ≤ b) = ∫ f(x) dx。密度可以大于 1,因为它描述的是单位长度上堆得有多密,不是概率本身。离散与连续的公式长得像,含义却不同,不能互相套用,这一组后面会专门讲连续分布。

离散

取值可列,用 pmf 逐点给概率,求和得到总概率;分布函数是阶梯,每一级台阶的高度就是该点的概率。

连续

取值不可列,用密度在区间上积分;单点概率为 0,分布函数是连续曲线,没有台阶。

工程数据里还有混合情形:变量有正的概率取到 0(比如「从未下单」),其余部分连续(下单金额)。硬当离散处理会丢掉金额的形状,硬当连续处理又会在 0 点算出无穷大的密度。先问「有没有哪个点承载了正概率」,再决定用哪套工具。

分布函数:小于等于 x 的概率

分布函数(cumulative distribution function,简称 cdf)定义为 F(x) = P(X ≤ x),把「不超过 x」的所有概率累加起来。它不关心 X 等于哪个值,只关心落点有没有越过这条线,在查表、算区间时比逐点 pmf 好用。

它有三条性质,每条都有直接的理由。第一,单调不减:若 x1 < x2,事件「X ≤ x1」包含在「X ≤ x2」里,概率只能变大不能变小。第二,右连续:从右侧逼近 x 时极限等于 F(x);离散情形下台阶在取值点处跳起,跳完立刻停在新高度。第三,两端极限:x 趋于负无穷时 F 趋于 0,趋于正无穷时 F 趋于 1,因为最终所有结果都会被覆盖。

对离散变量,F 是阶梯函数,每一级台阶的高度正好等于那一点的 pmf,也就是 F(k) − F(k−1) = p(k)(k 取整数格点)。把骰子的 pmf 逐项累加,就能得到六个台阶。

pmf = {k: 1 / 6 for k in range(1, 7)}
total = 0
for x in range(1, 7):
    total += pmf[x]
    print(f"F({x}) = {total:.4f}")
F(1) = 0.1667
F(2) = 0.3333
F(3) = 0.5000
F(4) = 0.6667
F(5) = 0.8333
F(6) = 1.0000

F(3) = 0.5 读作「点数不超过 3 的概率是一半」,不能读成「点数是 3 的概率是一半」。后者是 p(3) = 1/6。这两个量在报表里经常被混用:一个说的是「小于等于某个阈值的比例」,另一个说的是「正好等于阈值的比例」。在连续数据上差别更大,前者是一个区间比例,后者基本是 0。

骰子的分布函数:六级台阶,每级高 1/6
1 2 3 4 5 6 x 1 0

阶梯图能直观看出跳跃位置:横轴点数,纵轴累积概率,每级抬高 1/6。查「不超过 4 的比例」直接读 F(4),三分之二。代价是它只给累积信息,窄区间概率还得做差:P(a < X ≤ b) = F(b) − F(a)。

别把 F 和 pmf 混着用。代码里给两个函数起清楚的名字,比如 pmf(x) 和 cdf(x),不要都叫 prob(x)。同一个输入,一个返回「正好等于」的概率,一个返回「不超过」的概率,接口看着像,结果差一个量级。

指示变量:比率就是 0/1 的平均

事件 A 的指示变量(indicator variable)定义成:A 发生就取 1,不发生就取 0。它是最简单的随机变量,也是所有比率指标的底层。转化率、点击率、留存率、准确率,拆到底都是某个指示变量在一批样本上的算术平均。

它的期望就是 A 的概率。按定义算一遍:E[I] = 1 · P(A) + 0 · (1 − P(A)) = P(A)。推导只用了一次 pmf 的定义,没有用到任何额外假设。这条等式把「比率」和「平均」接上了:既然 0/1 是数,那就可以求平均,也就可以比较、可以算方差。

回到开头:用户是否转化编码成 0 或 1,转化率就是这列数的均值。这不是硬凑,而是先定义指示变量,再对取值求平均。

import random

random.seed(20261106)
p = 0.3
xs = [1 if random.random() < p else 0 for _ in range(1000)]
print(sum(xs), round(sum(xs) / len(xs), 4))
print(round(sum(xs) / len(xs) - p, 4))
294 0.294
-0.006

1000 次里命中 294 次,频率 0.294,和设定的 0.3 差 0.006。这个差距不是程序写错了,是抽样误差。它的典型量级在 1/√n 附近:n = 1000 时大约 0.016,也就是 1.6 个百分点;n = 10000 时缩到 0.5 个百分点左右。所以看到 3.0% 和 3.4% 这种差距,先别急着下结论,得先算清两边的样本量和这个量级的噪声。

还要分清频率和概率。概率是模型参数,固定;频率是这一次实验数出来的,随机。固定种子只让实验可复现,不会把频率变成概率;把 0.294 当成「真实转化率」,就是把可复现误当成正确。

变量做了变换,分布要重新合并

实际用的往往是 X 的某个函数:平方、取对数、分桶、截断。设 Y = g(X)。离散情形下,Y 的分布要把所有映到同一个 y 的 x 的概率加起来:

P(Y = y) = ∑ p(x),求和范围是 { x : g(x) = y }

单调变换最省事:一个 y 只对应一个 x,概率原样搬过去,只改标签不改大小。非单调变换会折叠:多个 x 落到同一个 y,必须合并,各算一份就重复了。平方、绝对值、取整,都是典型的折叠变换。

举个能手算的例子。X 取 −1、0、1,每个概率 1/3,令 Y = X²。x = −1 和 x = 1 都映到 1,所以 P(Y = 1) = 1/3 + 1/3 = 2/3;x = 0 映到 0,P(Y = 0) = 1/3。两者相加正好是 1。Y 只有两个取值,不是三个。

from collections import Counter
from fractions import Fraction

xs = [-1, 0, 1]
dist = {}
for x in xs:
    y = x * x
    dist[y] = dist.get(y, 0) + Fraction(1, 3)
print({k: str(v) for k, v in dist.items()})

random.seed(20261106)
sample = [random.choice(xs) for _ in range(3000)]
print(Counter(x * x for x in sample))
{1: '2/3', 0: '1/3'}
Counter({1: 1960, 0: 1040})

手算的 2/3 和 1/3 与输出一致。3000 次模拟里 Y = 1 出现 1960 次,占 65.3%,和 2/3 差 1.4 个百分点,仍在抽样误差范围内。注意模拟结果里根本没有「−1」这个值,因为变换之后它已经被折进 1 了。

常见错法有两种:给每个原像各发一份概率,得到三个各 1/3 的值,可 Y 只有 0 和 1,多出的一份无处安放;或者合并时漏掉一个原像,把 P(Y = 1) 写成 1/3。检验办法是先求和是否为 1,再看取值是否落在 Y 的值域里。

变换还会改变期望和方差,这一点下一篇细讲。这里先记住一个反直觉的事实:E[X²] 一般不等于 (E[X])²。对这个例子,E[X] = 0,E[X²] = 2/3,两者差得很远。平方会把大偏差放大,均值的位置和分布的形状不是一回事。

独立同分布,以及不相关不等于独立

独立(independent)的定义是对任意取值组合,联合概率等于各自概率的乘积:P(X = x, Y = y) = P(X = x) · P(Y = y)。要强调「任意」:某一对组合恰好相等说明不了什么,必须所有组合都成立。实际判断时,一般是从数据生成机制上确认,而不是逐个组合去验。

同分布(identically distributed)是指每个变量服从同一个分布,pmf 或 cdf 完全一样。独立同分布(iid)就是两个条件同时成立,抽样时说的「每次独立地抽一个样本」,默认就是在假设 iid。它不是数学上的装饰,而是后面很多结论的入场券。

为什么需要它?样本均值的方差是 σ²/n,大数定律的标准形式,都靠独立性控制样本之间的相关性;同分布保证每个样本估同一个参数。少了任何一条,误差估计都可能偏小,区间显得比实际更窄。

现在说那个常见误区:不相关不等于独立。协方差和相关系数衡量的只是线性关系,协方差为 0 只说明没有线性相关,并不排除平方、分段、周期这类非线性依赖。

反例很干净,可以完全手算。X 取 −1、0、1,每个 1/3,Y = X²。先算协方差:E[X] = 0,所以 Cov(X, Y) = E[XY] − E[X]E[Y] = E[X³]。而 X³ 取 −1、0、1,平均还是 0,于是协方差为 0。再验独立:P(X = 1, Y = 1) = 1/3,但 P(X = 1) · P(Y = 1) = (1/3) · (2/3) = 2/9,两个数不相等,所以不独立。

from fractions import Fraction

xs = [-1, 0, 1]
p = Fraction(1, 3)
EX = sum(p * x for x in xs)
EY = sum(p * (x * x) for x in xs)
EXY = sum(p * x * (x * x) for x in xs)
print("E[X] =", EX, "E[Y] =", EY, "E[XY] =", EXY)
print("Cov =", EXY - EX * EY)
print("P(X=1) * P(Y=1) =", p * Fraction(2, 3), "P(X=1, Y=1) =", p)
E[X] = 0 E[Y] = 2/3 E[XY] = 0
Cov = 0
P(X=1) * P(Y=1) = 2/9 P(X=1, Y=1) = 1/3

输出把三件事排在一起:E[X] = 0、E[Y] = 2/3、E[XY] = 0,协方差为 0;接着联合概率是 1/3,乘积是 2/9。一个数字等于 0,一个等式不成立,合起来就是「不相关但不独立」。

工程上很常见:某个特征和标签的相关系数接近 0,删掉后模型反而变差,因为它通过平方、阈值或交互项起作用。只看线性相关会漏掉这类关系;反过来,两个都随时间上涨的指标会显得高度相关,却不代表因果。

iid 不成立时,σ/√n 会低估真实波动。时间序列、按用户分组的采样、按时间排序后切的数据分片,都会让样本之间相关。这种时候要么改抽样方式,要么用能处理相关性的误差估计,不能直接套独立样本的公式。

一张现象对照表

这些现象在报表、实验和模型评估里都出现过,往回追基本都能追到随机变量的定义、分布计算或独立性假设上。

现象真实原因第一步查什么
比率算不出平均把「是/否」当成了不能运算的标签,没编码成 0/1 指示变量确认这一列是不是只有两个值,先把其中一个映射成 1
A/B 差异看不出显著只比较两个点估计,没考虑样本量和抽样波动取两组样本量,估算 1/√n 量级的误差,再看差异是否超过它
概率加起来不等于 1pmf 漏了取值,或者变换后原像重复计数、漏合并把所有取值列出来求和,检查值域有没有多出或缺少的点
变换后分布算错非单调变换把一个 y 的原像拆成了多份,或者只取了一个分支先写出 y 的原像集合,逐个累加概率再求和验证
把不相关当独立协方差只衡量线性关系,平方、阈值这类依赖测不出来画条件分布或散点图,比较 P(Y|X) 与 P(Y) 是否一致
样本量变化结论翻转小样本的频率波动大,扩大样本后点估计回到真实值附近核对两次实验的样本量与时间窗口,看是否同一口径
把 F(x) 当成 P(X = x)分布函数是累积概率,单点概率是它的台阶高度用 F 做差验证单点概率,或者直接查 pmf

边界与代价

第一,随机变量依赖样本空间的定义。同一个数值「1」,在掷骰子和在用户转化两个样本空间里含义完全不同,分布也不同。把来自不同样本空间的变量直接相加,往往没有意义;工程上这对应指标口径不一致,名字一样、定义不同,数就不能放进同一张表。

第二,离散处理有信息损失。连续值分桶会改变分布形状,桶越粗损失越大;0/1 编码多值状态会丢掉中间差异。分桶还会把平滑的分布函数变成台阶,区间概率只能近似。粒度取决于目的:展示、建模还是省存储。

第三,连续情形要积分,很多量没有初等闭式解。密度只在少数分布下有漂亮公式,其余要靠数值积分或采样;所以工程上更常用经验分布和直方图,不精确,但能算、能画。

第四,独立假设经常不成立。同一用户的多条行为、按时间切片的数据、同一台机器上的并发请求,都会带来相关。相关性会让「样本量翻倍、误差减半」失效;建模前先问数据怎么来的,再决定能不能当 iid。

第五,有限样本的频率不是概率。频率是估计,误差量级和样本量有关;固定种子能让结果可复现,却不能消除误差。写文档时把样本量和误差量级一起写上,否则下一个人会把它当常数用。

当天能做的练习

下面五件事都能在本机半小时内做完,对上面每一节都更实一些。

  1. 定义两个骰子上的随机变量:X 是点数,Y 是「点数是否为偶数」的 0/1 值。用 1000 次模拟分别打印两者的频数分布,并说明它们的样本空间是否相同。
  2. 写出骰子的 pmf,逐项累加得到 F(1) 到 F(6),验证 F(6) = 1;再用 F(4) − F(2) 计算点数落在 3 或 4 的概率,和直接相加 p(3)+p(4) 的结果对照。
  3. 用固定种子跑 1000 次 p = 0.3 的伯努利试验,打印频率、与 0.3 的差;再把次数改成 10000,比较两次的差距,解释差距为什么变小但不保证每次都更小。
  4. 让 X 取 −2、−1、0、1、2 各 1/5,令 Y = X²,手算 Y 的分布,再用 5000 次模拟验证;检查概率和是否为 1,并说明哪些原像被合并了。
  5. 用 X 取 −1、0、1 各 1/3、Y = X² 的例子,分别算协方差和 P(X = 1, Y = 1) 与 P(X = 1)P(Y = 1),用两个结果说明「协方差为 0」和「独立」不是一回事。

小结:有了数,才能算平均和波动

这篇的主线可以压成三句。随机变量是把样本空间里的结果映射成数的函数,随机性在结果上,不在函数上;离散变量用 pmf 逐点描述、用 cdf 累积描述,两条硬条件是概率非负且总和为 1;变换、比率、独立这些操作,全部建立在这套编码之上。

但光有分布还不够。报表要回答的往往是「平均来看怎么样」「波动有多大」「两个版本的差异是不是噪声」,这些问题需要两个数:期望和方差。下一篇就从骰子的 3.5 开始,讲期望为什么是加权平均、方差为什么不能直接相加,以及训练时的损失曲线为什么会抖得厉害。