一个三节点的配置中心,leader 因为一次 700ms 的暂停错过了心跳。follower 在租约到期后的第 500ms 发起选举,选出了新 leader。老 leader 第 700ms 恢复,它并不知道自己已经被换掉,仍按「我是主」继续接收写请求。同一份配置在几十毫秒里被两个主各改了一遍,最后落盘的值取决于谁写得晚。
这个现象叫脑裂:系统里同时存在两个自认为有资格做主的人。它不是「选主算法写错了」,而是「权力的过期和交接之间有一个缝」。只要 leader 可能暂停、网络可能断,这个缝就存在。
这篇讲选主的两套核心机制:投票和任期决定「谁被选出来」,租约决定「这个权力能用多久」。最后讲怎么在写入前校验,把脑裂造成的实际损害挡住。真实的多节点选主部署和集群行为未在本机实测,只讲机制与参数。
为什么要选主:把并发写收成一条线
先看一张对照表。选主出问题时,表面现象常常是「配置被改乱」「任务被重复执行」,很少直接报「选主失败」。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 两个节点都认为自己是主 | 网络分区后,双方对租约是否到期判断不一致 | 对比两边任期号与租约剩余时间 |
| 选主长时间选不出来 | 候选人同时参选,票被分走,无人过半数 | 查选举超时是否做了随机化 |
| 主节点恢复后继续写入 | 恢复时没有校验租约,直接沿用旧身份 | 查写路径是否检查租约与任期 |
| 主节点频繁切换 | 心跳间隔太短,网络抖动就被判定失联 | 查心跳丢失率与选举超时配置 |
| 从节点一直不承认新主 | 任期号没有提升,消息顺序错乱 | 查 term 是否单调递增、日志是否按序复制 |
| 租约到期但任务还在跑 | 心跳停了,业务侧没有感知到权力已失效 | 查续租逻辑与任务停止条件 |
| 跨机房选主延迟很高 | 多数派节点分布在远端,投票要等跨城往返 | 查节点分布与 quorum 所在位置 |
| 主节点提前让位 | 用本地时钟计算租约剩余,时钟走快 | 改用锁服务时间或单调时钟计算 |
很多分布式系统要求「同一时刻只有一个写者」,比如配置中心、元数据服务、主库。多个写者同时改同一份数据,就需要合并冲突;而合并冲突往往比「只让一个人写」复杂得多。选主就是把写权集中到一个节点,其余节点只读或待命。
选主和负载均衡不是一回事。负载均衡是把请求分给多个节点,每个节点都能独立处理;选主是让多个节点里只有一个说了算,其他节点要服从它。前者追求吞吐,后者追求「唯一性」。
选主要付出代价:选举期间服务可能短暂不可写;leader 挂了要重新选;网络分区时可能选不出结果。这些代价换来的是一份「不需要合并的写入顺序」,对元数据、配置、锁这类数据很值。
选主和主从复制也常被混在一起。主从复制说的是「数据怎么同步」,选主说的是「谁来承担写」。一个系统可以有多副本,但同一时刻只有一个副本被允许写;也可以没有主,所有副本都能写,靠合并解决冲突。选主是前一种,不是所有多副本系统都必须选主。
投票与任期:过半数才算数
最常用的选主方式是投票。每个节点都可以参选,参选时提出一个任期号;其他节点比较任期,只有任期更高的候选人才能拿到票;拿到超过半数票的候选人当选。任期是一个单调递增的整数,可以理解成「第几届领导」。
第一次选举:n2 与 n4 同时参选,票被分走
term=1 | 候选人: n2=2票, n4=2票 | 无人过半数,选举失败
随机化重试后第二次选举:n1 参选
term=2 | 候选人: n1=4票 | 选出 n1(4 票过半数)
leader=n1,其余节点把 term 提升到 2 并承认结果
第一行是典型的「票被分走」。5 个节点里,n2 和 n4 同时参选,各拿 2 票,谁都没过半数,选举失败。如果两个候选人一直同时参选,就会一直选不出来,系统卡在无主状态。
解决办法是随机化重试。失败后每个节点等一个随机时长再参选,错开时间,避免再次同时出发。第二次 n1 参选,拿到 4 票,超过半数,当选。其余节点把任期提升到 2,承认这个结果。注意「其余节点提升任期」这一步:不提升的话,它们还会认旧任期,下次选举又会乱。
过半数这条规则不是随便定的。它保证任何一次选举只有一个赢家:两个候选人不可能同时拿到超过半数的票,因为票总数有限。这也是为什么集群节点数通常取奇数,3 个节点需要 2 票,5 个需要 3 票,既能容忍少数节点故障,又不会出现平票僵局。
任期还有一层作用:防止旧 leader 复活后重新掌权。一个节点如果发现自己的任期比别人低,就必须放弃原来的身份,把任期提升到对方的值。旧 leader 恢复后,看到大家的任期已经更高,就知道自己已经不是主了。任期把「过去的领导」和「现在的领导」区分开,靠的是一个单调递增的数字,而不是谁先说话。
投票请求本身要带任期。收到请求的节点先比较任期,比自己低就直接拒绝,比自己高就更新自己的任期并考虑投票,相等才看候选人是谁。没有任期比较,光靠「谁先请求」投票,旧 leader 很容易靠资历把票拉回去。
租约:用时间给权力划一个边界
选出来之后,leader 的权力不是永久的,而是一段一段续的。leader 定期发心跳,告诉其他节点「我还活着」;其他节点维护一个租约,多久没收到心跳就认为 leader 失效,开始新一轮选举。
租约:leader 每 200ms 发心跳,租约 500ms;follower 超过 500ms 没收到心跳就开始选举
leader 暂停 300ms | follower 在 t=500 发起选举=false | 老 leader t=300 恢复,若写前校验租约则立即让位: false
leader 暂停 700ms | follower 在 t=500 发起选举=true | 老 leader t=700 恢复,若写前校验租约则立即让位: true
第一组:leader 暂停 300ms,短于 500ms 的租约。它在租约到期前恢复并继续发心跳,follower 在 t=500 时看到心跳还在,不会发起选举,所以结果是 false。老 leader 恢复后也不需要在写前校验,因为它确实还是主,结果同样是 false。
第二组:leader 暂停 700ms,超过租约。follower 在 t=500 时确认心跳断了,发起选举,结果为 true。老 leader 在 t=700 恢复,如果它在写之前校验租约,会发现自己已经过期,立即让位,结果也是 true。这里两个 true 分别指「选举发生了」和「老 leader 让位了」。
这两组数字说明租约的本质:它是一个「最多容忍多久失联」的约定。租约短,故障发现快,但容易误判,网络抖一下就可能触发选举;租约长,误判少,但 leader 真挂了要等更久才能恢复。参数是在「误判」和「恢复慢」之间找平衡。
租约依赖时钟,所以时钟偏差会直接影响判断。如果 follower 的钟比 leader 快,它可能提前认为租约到期,发起一次本不该发生的选举;如果慢,则会延后发现问题。跨机房部署时,这种偏差被放大。缓解办法是让所有节点使用同一个时间源,并给租约留出比偏差更大的余量。
心跳的方向也要明确:由 leader 主动发,follower 被动收。如果反过来让 follower 主动问「你还活着吗」,leader 就必须处理大量询问,故障时也更容易被打垮。主动心跳把压力放在少数的主上, follower 只做计时,结构更简单,也少了一条可能出错的路径。
脑裂:两个主同时写
租约能发现 leader 失联,但不能阻止失联的 leader 恢复后继续写。老 leader 可能只是因为 GC、磁盘抖动、虚拟机暂停而「看起来失联」,它自己并不知道已经被换掉。一旦恢复,它会继续按「我是主」处理请求。
脑裂的危害不是「选出了两个主」,而是「两个主都写了数据」。如果它们写的是同一份配置、同一把锁、同一个元数据,最后就会产生两份互相矛盾的真相,而且没有自动合并的规则。等到人工发现,往往已经过了很久。
防脑裂有几层。第一层是投票本身:新 leader 必须拿到过半数票,旧 leader 如果拿不到票,就不能再当选。第二层是租约:旧 leader 的租约到期后,它自己应该停止服务,而不是继续写。第三层是写入前校验:每次写之前确认自己还持有有效租约,不有效就拒绝。
第三层最关键,因为它是唯一在「真正写」的那一刻起作用的。前两层是协议层的约定,第三层是执行层的兜底。很多系统做了前两层就以为够了,结果老 leader 恢复后根本没检查租约,直接写,前两层全白做。
写前校验有两种实现。一种是向选主服务重新问一次「我还是主吗」,确认后再写;另一种是写入时带一个单调令牌,由存储层比较令牌大小。前者多一次网络往返,但实现简单;后者把校验放进数据层,更可靠,但要改存储。两者都比「只看内存标记」强。
还有一层是「多数派确认」。leader 在写关键数据前,可以要求至少一个其他节点确认这次写,或者让写操作在多数派上生效。这样即使 leader 是旧的,它也只能写到少数节点,不会形成「两个主都写成功」的局面。代价是每次写都更慢。
脑裂的检测不该只靠人工发现。可以专门监控「同一资源短时间出现两个写入来源」和「租约过期后仍有写入」这两类信号,前者直接说明有两个主在写,后者说明老 leader 没做校验。这两个指标比「选举次数」更能反映真实风险,因为选举次数多不一定是脑裂,但两个来源同时写一定是。
参数怎么定:心跳、租约、选举超时
心跳间隔要远小于租约。心跳 200ms、租约 500ms,意味着连续丢两次心跳才会触发选举,给网络抖动留了缓冲。如果心跳和租约贴得很近,一次抖动就会误判,集群频繁选举,反而更不稳定。
租约要覆盖 leader 的正常停顿。一次 full GC、一次磁盘 fsync、一次短暂的调度延迟,都可能让 leader 停几十到几百毫秒。租约设得比这些停顿还短,等于自己制造脑裂。经验上,租约至少是「正常最长停顿」的两到三倍。
# 选主与租约参数(示意)
election:
nodes: 5
quorum: 3 # 过半数,5 节点需要 3 票
heartbeat_interval: 200ms
lease_ttl: 500ms # 约为心跳的 2 到 3 倍
election_timeout: 500ms # 超过租约未收到心跳即参选
retry_jitter: 0..200ms # 随机化,避免同时参选
pre_write_check: true # 写前校验租约,必须开
# 写入前校验(伪代码)
fn safe_write(key, value):
if not lease_still_valid():
step_down(); return REJECTED
return store.write(key, value)
抖动范围通常取选举超时的一半左右,太小不起作用,太大又拖慢恢复。
节点数取奇数,并且要算清楚「能坏几个」。5 个节点容忍 2 个坏,还剩 3 个,刚好过半数;坏 3 个就选不出来了,系统进入无主状态,只能读不能写。跨机房部署时,还要保证「任何一侧都凑不够过半数」,否则分区后两边都能选出 leader,脑裂照样发生。
举一个具体分布:5 个节点,3 个放主机房、2 个放备机房。主机房断链后自己还有 3 个,能选出 leader 继续写;备机房只有 2 个,选不出来,只能等链路恢复。反过来如果 2 个放主机房、3 个放备机房,主机房断链后只剩 2 个,业务会停写。节点放哪一侧,直接决定故障时谁还能干活。
恢复时间也要估。leader 挂掉后,要等租约到期(比如 500ms)才触发选举,选举本身可能还要几十到几百毫秒,新 leader 接管后再同步状态。整段窗口可能是 1 秒左右。业务如果要求「写不能停超过 200ms」,这个参数组合就不达标,得换更短的租约,或者接受更频繁的误判。
这里要说明一下边界:真实的多节点选主部署、etcd 或类似系统的集群行为,未在本机实测。上面这些参数和机制来自通用的选主模型,具体产品的心跳、租约、选举实现会有差异,落地时要以实际组件的文档和实测为准,不能直接把示例数字抄进生产配置。
边界与代价
不需要唯一写者的系统别选主。无状态服务、只读副本、可以靠合并解决冲突的数据,选主只会增加复杂度和故障面。选主适合「写必须串行」的场景,不适合所有分布式系统。
选主期间服务会短暂不可写。leader 挂了到新 leader 选出来,中间有一段没有主的时间。业务要能接受这段「写失败」或「排队等待」,否则就要在客户端做重试和降级。把这段窗口估清楚,写进 SLA。
这段无主窗口还要区分「读」和「写」。多数系统在无主时仍然允许读,只是不允许写。如果业务把读也依赖在 leader 上,无主期间会连读都失败,影响面比预期大。设计时把读写路径分开,无主时至少保证读可用,能显著降低故障感知。
租约是「猜」,不是「知道」。系统永远无法立刻确认一个节点是死是活,只能靠超时猜。租约短会误判活节点为死,租约长会把死节点当活。没有哪个参数能同时消灭两种错,只能按业务更怕哪种来选。
脑裂防不住所有情况。写入前校验能挡住「老 leader 继续写」,但挡不住「老 leader 已经写了一半」。如果一次写涉及多个步骤,中途被换掉,仍可能留下半成品。所以关键写操作要幂等、要可补偿,不能只靠选主保证正确。
跨机房选主要算清楚票数分布。3 个节点放两个机房,断链后一边 2 个、一边 1 个,2 个那侧能选出 leader,1 个那侧只能读。如果两个机房都放 2 个、共 4 个节点,断链后两边各 2 个,都凑不够 3 票,整个系统进入无主。节点分布比节点数量更影响可用性。
选主是手段,不是目的。真正的目的是「让写入有确定的顺序」。如果能用单库事务、唯一约束、幂等键解决,就不需要选主。选主适合元数据、配置、锁这些「必须只有一个写者」的场景,不适合拿来给普通业务服务加一层主备。
选举本身也有成本。每次选举都要广播、投票、更新任期,节点越多、网络越慢,选举耗时越长。频繁选举还会让客户端不断重连、缓存失效。把选举次数做成监控指标,频繁选举本身就是系统不稳定的信号,应该去查网络和停顿,而不是调参掩盖。
当天可以自验的五件事
- 找出系统里所有依赖「唯一主」的组件,标注它们选主用的是什么机制。
- 列出心跳间隔、租约时长、选举超时三个数,检查心跳是否明显小于租约。
- 确认 leader 在写入前是否校验租约,还是只依赖内存里的「我是主」标记。
- 检查选举失败后的重试是否带随机抖动,还是所有节点同时重试。
- 画出节点在机房上的分布,算一算断链后每一侧最多能凑几票,是否可能两边都选出 leader。
选主保证了「同一时刻只有一个写者」,但消息在网络里仍可能重复、乱序、延迟到达。下一篇《幂等、去重与顺序:消息重复和乱序怎么兜》会从一次消息序列 m1、m2、m2、m4、m3 讲起,说明为什么只去重还不够,还得校验顺序。