体检报告上写着「该项检测灵敏度 99%,特异度 99%」,某人的结果是阳性。医生按直觉说「大概率有问题」,本人也已经做好了最坏的打算。可如果这种病在人群里的患病率只有 0.1%,阳性之后真正患病的概率其实只有 9% 左右,九成以上的阳性都是虚惊。

同样的结构在工程里天天出现。垃圾邮件过滤器把「邮件里出现某个词」当成证据,如果训练集里的正常邮件远多于垃圾邮件,这个先验就会让过滤器偏向保守;先验设错,或者算分母时漏掉「正常邮件也会出现这个词」的那一项,正常邮件就会被大批误杀。推荐系统、风控、告警降噪,用的都是同一套加减法。

这篇从条件概率讲起,一步步推出贝叶斯公式,再用罕见病检测把每个数字算出来。重点有两件事:分母到底在数什么,以及先验为什么能把同一份证据得出完全不同的结论。

条件概率:分母换了,答案就变了

条件概率(conditional probability)回答的是「在已知 B 发生的前提下,A 发生的概率」。记作 P(A|B),定义是

P(A|B) = P(A ∩ B) / P(B),  其中 P(B) > 0

分母是 B 的概率,不是全体的概率。这一点决定了条件概率天生不对称:P(A|B) 和 P(B|A) 的分母不同,数值通常也不同。很多人把两者混为一谈,后面的结论就全歪了。

用一张一千人的问卷表把它算一遍。A 表示「常用深色模式」,B 表示「常在夜间使用」。四个格子是:两者都是 80 人,只是 A 的 420 人,只是 B 的 120 人,都不是的 380 人。

分组人数含义
A 且 B80常用深色模式,也常在夜间使用
A 但非 B420常用深色模式,不常在夜间使用
B 但非 A120不常用深色模式,常在夜间使用
两者都不是380既非常用深色模式,也不常在夜间使用

合起来正好一千人。由表可以直接读出:P(A) = 500/1000 = 0.5,P(B) = 200/1000 = 0.2,P(A ∩ B) = 80/1000 = 0.08。于是「夜间用户里有多少常用深色模式」是 P(A|B) = 80/200 = 0.4;反过来「常用深色模式的人里有多少常夜间使用」是 P(B|A) = 80/500 = 0.16。同一个 80,被两个不同的分母除,答案差了 2.5 倍。

both, a_only, b_only, neither = 80, 420, 120, 380
N = both + a_only + b_only + neither
A = both + a_only
B = both + b_only
print(N, A, B)
print(round(both / N, 4), round(A / N, 4), round(B / N, 4))
print(round(both / B, 4), round(both / A, 4))
1000 500 200
0.08 0.5 0.2
0.4 0.16

输出和手算一致。注意 P(A|B) 的分母是 200,P(B|A) 的分母是 500,这就是不对称的来源。条件概率不是「交换两个事件」,而是「换了一个观察范围」。理解这一点,贝叶斯公式就只是把这件事代数化了。

贝叶斯公式:把分母拆开

由条件概率的定义,同一个交事件可以写两遍:P(A ∩ B) = P(A|B)·P(B),也可以写成 P(A ∩ B) = P(B|A)·P(A)。两边相等,再除以 P(B),就得到贝叶斯公式:

P(A|B) = P(B|A) · P(A) / P(B)

分母 P(B) 往往不好直接知道,但可以按「A 发生」和「A 不发生」两种情况拆开,这就是全概率公式:

P(B) = P(B|A)·P(A) + P(B|¬A)·P(¬A)

前提是 A 与 ¬A 互斥且覆盖全部情况。拆开之后,公式里每个量都有了名字,也有了一句大白话的解释。

先验 P(A)看到证据之前,对 A 成立可能性的判断。它来自历史数据、领域知识,或者干脆是主观设定。
似然 P(B|A)在 A 成立的前提下,观察到证据 B 的概率。检测的灵敏度就是似然的一种。
证据 P(B)无论 A 成不成立,观察到 B 的总概率。它起归一化作用,让后验概率加起来等于 1。
后验 P(A|B)看完证据之后,更新过的判断。它就是我们要的答案,也是下一次的先验。

四个量里,先验和似然通常能估,后验是目标,证据最难。因为证据要把所有可能的假设都枚举一遍,每个假设乘上自己的似然,再加起来。现实中的假设空间往往不止 A 和 ¬A 两种,分母就变成一次对所有假设的求和或积分。这也是贝叶斯方法在复杂模型上计算量大的根源。

用上一节那张表验证公式:P(A|B) = 0.16 × 0.5 / 0.2 = 0.4,和直接数格子得到的答案一致。公式没有变魔术,它只是把「数格子」换成了「先验乘似然,再除以证据」。

罕见病检测:为什么阳性只有 9%

现在把公式用到那个让人不舒服的例子上。设患病率为 0.1%,检测灵敏度为 99%,特异度为 99%。

先把三个名词对齐。患病率是先验 P(D) = 0.001。灵敏度是「有病时检测为阳性」的概率,也就是似然 P(+|D) = 0.99。特异度是「没病时检测为阴性」的概率,P(−|¬D) = 0.99,所以假阳性率是 P(+|¬D) = 0.01。

取十万人来数,数字比公式更直观。十万人里有 100 个病人、99,900 个健康人。100 个病人里,99 个被检出阳性,1 个漏诊。99,900 个健康人里,1% 被误判为阳性,也就是 999 个。于是阳性总人数是 99 加 999,共 1098 人;其中真正有病的只有 99 人。

import math
N, prev, sens, spec = 100000, 0.001, 0.99, 0.99
sick = N * prev
healthy = N - sick
tp = sens * sick
fn = sick - tp
fp = (1 - spec) * healthy
tn = healthy - fp
print(round(sick), round(healthy))
print(round(tp, 2), round(fn, 2), round(fp, 2), round(tn, 2))
post = tp / (tp + fp)
print(f"{post:.10f}")
print(f"{post * 100:.2f}%")
100 99900
99.0 1.0 999.0 98901.0
0.0901639344
9.02%

阳性后患病的概率是 99 / (99 + 999) ≈ 0.09016,也就是 9.02%。假阳性的数量差不多是真阳性的十倍,因为健康人的基数太大:0.1% 的患病率意味着每一个病人对应 999 个健康人,哪怕误判率只有 1%,误判出来的数量也会淹没真阳性。

这里有个常见的混淆:报告说「准确率 99%」,听上去很高。但准确率是 (真阳性 + 真阴性) / 总人数,在这个例子里是 (99 + 98901) / 100000 = 99%,确实很高,却和「阳性之后有多大可能是病人」完全是两个问题。后者叫阳性预测值(PPV),它的分母是「所有检测为阳性的人」,不是「所有人」。指标的定义换一个分母,结论就从 99% 掉到 9%。

顺带一提,灵敏度和特异度也不是「都调到最高」就能解决的问题:把判定阈值调低,灵敏度上去,假阳性也跟着上去,PPV 可能反而更低;调高则相反。这两个指标描述的是检测本身,PPV 和阴性预测值才描述「拿到结果之后该怎么判断」,而后者一定依赖先验。

先验为什么重要:同一份证据,两种结论

把检测原封不动地搬到另一个场景:不是人群筛查,而是专科门诊,来的都是有症状的人,患病率按 10% 估。灵敏度和特异度都不变,再看后验。

for prev in (0.001, 0.10):
    sick = N * prev
    healthy = N - sick
    tp = sens * sick
    fp = (1 - spec) * healthy
    post = tp / (tp + fp)
    print(prev, round(sick), round(tp, 2), round(fp, 2), f"{post * 100:.2f}%")
0.001 100 99.0 999.0 9.02%
0.1 10000 9900.0 900.0 91.67%

同样的检测、同样的灵敏度与特异度,只因为先验从 0.1% 变成 10%,后验就从 9.02% 跳到 91.67%。这不是公式不稳定,而是证据的强度本来就不足以把极低的先验拉上来:一次阳性提供的似然比是 0.99 / 0.01 = 99,只能把几率放大 99 倍。

用几率(odds)看更清楚。先验几率是 P(D) / P(¬D),0.1% 对应 1:999;乘以似然比 99,得到后验几率约 99:999,也就是 1:10.09,换成概率是 1 / 11.09 ≈ 9.02%。10% 的先验几率是 1:9,乘以 99 得到 11:1,换成概率是 11/12 ≈ 91.67%。公式是同一个,差别全在出发点的几率上。

这也解释了为什么「先验设错,结论翻盘」。当证据弱、样本少的时候,后验会被先验主导;只有证据足够强,似然比足够大,数据才能压过先验。贝叶斯不是把主观意见偷偷塞进结果,而是明确告诉你:在证据有限时,起点必须被写出来,也必须被检查。

贝叶斯更新可以迭代:今天的后验是明天的先验

贝叶斯公式最实用的性质是可迭代。第一次检测得到一个后验,把它当作第二次检测的先验,再乘上第二次的似然、除以新的证据,就得到看完两次检测的后验。连续做两次阳性检测,等价于一次性把两个似然相乘。

还是那个 0.1% 先验的例子。第一次阳性后是 9.02%,第二次阳性之后:

prior = 0.001
p1 = sens * prior / (sens * prior + (1 - spec) * (1 - prior))
p2 = sens * p1 / (sens * p1 + (1 - spec) * (1 - p1))
one_shot = sens ** 2 * prior / (sens ** 2 * prior + (1 - spec) ** 2 * (1 - prior))
print(f"{p1:.10f}")
print(f"{p2:.10f}")
print(f"{one_shot:.10f}")
print(f"{abs(p2 - one_shot):.3e}")
0.0901639344
0.9075000000
0.9075000000
0.000e+00

一次更新和两次更新的结果完全相同,差值为 0。这不是巧合:把 P(D|+) 代回公式,分子分母里的 P(+) 会约掉,剩下的正是两个似然的乘积。数学上,更新顺序可以交换,先看哪份证据都一样。

但这条性质有前提:两次检测在给定患病状态下条件独立,也就是 P(+₁, +₂ | D) = P(+₁|D)·P(+₂|D)。如果两次用的是同一份样本、同一批试剂,误差是相关的,第二条阳性并没有提供「全新」的 99 倍证据,硬乘就会过度自信。现实里复检的意义,一部分就在于换一种检测手段,让条件独立更接近成立。

连续更新前先确认证据的条件独立性。把相关的证据当成独立证据相乘,后验会被迅速推到接近 1,而且没有任何一项计算会报错。

朴素贝叶斯:把联合概率拆成乘积

文本分类里最常用的贝叶斯变体叫朴素贝叶斯(naive Bayes)。它要算的是「给定一组特征,属于某个类别的概率」。直接算联合分布需要知道所有特征组合的统计量,数据量根本不够,于是它做了一个很强的假设:在给定类别的条件下,各个特征相互独立。

P(x₁, x₂, …, xₙ | C) = P(x₁|C) · P(x₂|C) · … · P(xₙ|C)

有了这条,联合概率就能拆成若干个单特征概率的乘积,参数量从指数级降到线性级。「朴素」说的就是这条假设,它通常不成立,但分类效果往往够用,因为最终只需要比较哪个类别的分数更高,不需要概率绝对准确。

拿一个两类、两个特征的小例子手算。垃圾邮件 4 封,正常邮件 6 封;特征一「含免费」,特征二「含会议」。垃圾邮件里含「免费」的 3 封、含「会议」的 1 封;正常邮件里含「免费」的 1 封、含「会议」的 4 封。现在来一封邮件,含「免费」、不含「会议」,判断它是不是垃圾邮件。

先做拉普拉斯平滑,给每个计数加 1,分母加 2(两个取值:出现与不出现),避免某个概率变成 0 把整个乘积归零。

import math
spam_total, ham_total = 4, 6
spam_free, spam_meeting = 3, 1
ham_free, ham_meeting = 1, 4
a = 1
p_free_spam = (spam_free + a) / (spam_total + 2 * a)
p_nomeet_spam = (spam_total - spam_meeting + a) / (spam_total + 2 * a)
p_free_ham = (ham_free + a) / (ham_total + 2 * a)
p_nomeet_ham = (ham_total - ham_meeting + a) / (ham_total + 2 * a)
prior_spam, prior_ham = 0.4, 0.6
joint_spam = prior_spam * p_free_spam * p_nomeet_spam
joint_ham = prior_ham * p_free_ham * p_nomeet_ham
print(round(p_free_spam, 4), round(p_nomeet_spam, 4))
print(round(p_free_ham, 4), round(p_nomeet_ham, 4))
print(round(joint_spam, 6), round(joint_ham, 6))
print(round(joint_spam / (joint_spam + joint_ham), 10))
log_spam = math.log(prior_spam) + math.log(p_free_spam) + math.log(p_nomeet_spam)
log_ham = math.log(prior_ham) + math.log(p_free_ham) + math.log(p_nomeet_ham)
print(round(log_spam, 6), round(log_ham, 6))
0.6667 0.6667
0.25 0.375
0.177778 0.05625
0.7596439169
-1.727221 -2.877949

两个联合分数是 0.177778 和 0.05625,归一化后垃圾邮件的后验是 0.7596,正常邮件是 0.2404。注意这里的分母就是两个联合分数之和,因为在二分类里它正好等于 P(证据)。多分类时同理,把所有类别的联合分数加起来做分母。

代码的后半段用了对数。概率连乘很容易下溢:每个特征的概率如果是 0.1,400 个特征乘起来就是 10⁻⁴⁰⁰,早就变成 0 了。双精度浮点数在 10⁻³⁰⁸ 附近开始丢失精度,再往下就直接归零。取对数之后,乘积变成求和,数值范围一下子变得温和;而且对数函数单调,比较大小不受影响。这就是实际实现里几乎都用 log P(C) + Σ log P(xᵢ|C) 的原因。

还要留意「双重计数」:如果「免费」和「优惠」几乎总是同时出现,朴素贝叶斯会把同一份证据算两遍,后验被高估。特征相关性越强,独立假设破坏得越厉害。工程上的对策不是放弃模型,而是先去相关、做特征选择,或者换成能建模特征依赖的模型。

一张现象对照表

这些现象在医疗、风控、邮件过滤和告警系统里都能见到,表面看是模型不准,往下一层基本都是分母或先验的问题。

现象真实原因第一步查什么
检测阳性后被告知「大概率患病」,实际概率很低忽略了基础患病率,把灵敏度当成了阳性预测值先查人群患病率,再按 P(D|+) 重算,不要直接看准确率
换个场景结论完全翻转先验与场景不符,训练集比例和线上比例不同对比训练集与线上数据的类别比例,重估先验
后验概率加起来不等于 1分母只算了一个假设,漏掉其他互斥情形用全概率公式把所有互斥情况列全,再求和
文本分类被少数强相关词带偏特征不独立,朴素贝叶斯把同一份证据重复计算看特征相关矩阵,去掉高度冗余的特征
概率连乘后变成 0特征太多,乘积下溢到浮点数下限改用对数求和,最后再做归一化或比较
两次检测结果和一次合并计算不一致顺序假设或条件独立假设被破坏,似然不可交换确认证据在给定类别下是否条件独立
报告准确率 99%,实际误杀严重准确率、灵敏度、特异度、PPV 四个指标混用明确每个指标的分母对应哪个人群

边界与代价

第一,先验是主观的。贝叶斯公式不会替你选先验,它只保证在给定先验下推理自洽。先验选得离谱,后验也会跟着偏,而且偏差不会因为公式正确而消失。好的做法是把先验的来源写清楚,做敏感性分析,换几个合理的先验看结论是否稳定。

第二,独立假设很强。朴素贝叶斯的条件独立在真实数据里几乎从不严格成立,特征相关时会重复计数。它之所以还能用,是因为分类只比较相对大小,误差有时会互相抵消;但一旦需要输出可信的概率,这个假设就必须被审视。

第三,证据概率难算。分母要对所有可能的假设求和或积分,假设空间一大,计算量就爆炸。连续参数的情形下,求和变成积分,通常没有解析解,只能用数值积分、采样或变分近似,每一种都带来额外的误差和成本。

第四,模型本身也是假设。后验是在「模型正确」的前提下算出来的,模型设定错了,再精确的计算也只是在错误的问题上给答案。先验、似然、独立性,这三层假设任何一层出问题,结论都不可靠。

第五,迭代更新有前提。把今天的后验当明天的先验,要求新证据与旧证据在给定状态下条件独立,否则就会重复计算。现实中的复检、重复采样、同一批次的数据,都需要先确认这一点,再决定能不能直接乘。

当天可以自己验证的练习

  1. 用文中那张一千人的表,手算 P(A|B)、P(B|A)、P(A|¬B),再用代码核对,解释三个分母各是什么人群。
  2. 把罕见病的灵敏度从 99% 改成 90%,特异度仍是 99%,重算阳性后患病概率,看看灵敏度下降 9 个百分点会让后验掉多少。
  3. 保持检测参数不变,把患病率先验改成 5%,重算后验,并用几率与似然比的形式解释结果为什么落在 9% 和 91.67% 之间。
  4. 做两次独立检测,先算一次后验再迭代第二次,再和一次性乘两个似然的结果对比,验证两者相等;然后把第二次的似然改成与第一次相关的情形,说明为什么不能再直接相乘。
  5. 用文中 4 封垃圾邮件、6 封正常邮件的计数,手算含「免费」不含「会议」时的两个联合分数与后验,再和代码输出对照,并说明拉普拉斯平滑改变了哪个分母。

从先验到最大似然

这篇的主线可以压成三句:条件概率的分母是观察范围,换分母就换答案;贝叶斯公式把先验和似然乘起来、再用证据归一,得到后验;先验决定了证据不足时结论往哪边偏,而迭代更新的合法性依赖条件独立。

但贝叶斯有一个绕不开的门槛:必须先指定先验。如果不想引入主观信念,另一条路是直接问「哪个参数能让观测数据出现的概率最大」,这就是最大似然估计。它不需要先验,只优化似然;把似然取对数再取负,就得到交叉熵损失。下一篇就从这里接上,把「交叉熵那个公式是怎么来的」一步步推出来。