一个三节点的配置中心,leader 因为一次 700ms 的暂停错过了心跳。follower 在租约到期后的第 500ms 发起选举,选出了新 leader。老 leader 第 700ms 恢复,它并不知道自己已经被换掉,仍按「我是主」继续接收写请求。同一份配置在几十毫秒里被两个主各改了一遍,最后落盘的值取决于谁写得晚。

这个现象叫脑裂:系统里同时存在两个自认为有资格做主的人。它不是「选主算法写错了」,而是「权力的过期和交接之间有一个缝」。只要 leader 可能暂停、网络可能断,这个缝就存在。

这篇讲选主的两套核心机制:投票和任期决定「谁被选出来」,租约决定「这个权力能用多久」。最后讲怎么在写入前校验,把脑裂造成的实际损害挡住。真实的多节点选主部署和集群行为未在本机实测,只讲机制与参数。

为什么要选主:把并发写收成一条线

先看一张对照表。选主出问题时,表面现象常常是「配置被改乱」「任务被重复执行」,很少直接报「选主失败」。

现象真实原因第一步查什么
两个节点都认为自己是主网络分区后,双方对租约是否到期判断不一致对比两边任期号与租约剩余时间
选主长时间选不出来候选人同时参选,票被分走,无人过半数查选举超时是否做了随机化
主节点恢复后继续写入恢复时没有校验租约,直接沿用旧身份查写路径是否检查租约与任期
主节点频繁切换心跳间隔太短,网络抖动就被判定失联查心跳丢失率与选举超时配置
从节点一直不承认新主任期号没有提升,消息顺序错乱查 term 是否单调递增、日志是否按序复制
租约到期但任务还在跑心跳停了,业务侧没有感知到权力已失效查续租逻辑与任务停止条件
跨机房选主延迟很高多数派节点分布在远端,投票要等跨城往返查节点分布与 quorum 所在位置
主节点提前让位用本地时钟计算租约剩余,时钟走快改用锁服务时间或单调时钟计算

很多分布式系统要求「同一时刻只有一个写者」,比如配置中心、元数据服务、主库。多个写者同时改同一份数据,就需要合并冲突;而合并冲突往往比「只让一个人写」复杂得多。选主就是把写权集中到一个节点,其余节点只读或待命。

选主和负载均衡不是一回事。负载均衡是把请求分给多个节点,每个节点都能独立处理;选主是让多个节点里只有一个说了算,其他节点要服从它。前者追求吞吐,后者追求「唯一性」。

选主要付出代价:选举期间服务可能短暂不可写;leader 挂了要重新选;网络分区时可能选不出结果。这些代价换来的是一份「不需要合并的写入顺序」,对元数据、配置、锁这类数据很值。

选主和主从复制也常被混在一起。主从复制说的是「数据怎么同步」,选主说的是「谁来承担写」。一个系统可以有多副本,但同一时刻只有一个副本被允许写;也可以没有主,所有副本都能写,靠合并解决冲突。选主是前一种,不是所有多副本系统都必须选主。

投票与任期:过半数才算数

最常用的选主方式是投票。每个节点都可以参选,参选时提出一个任期号;其他节点比较任期,只有任期更高的候选人才能拿到票;拿到超过半数票的候选人当选。任期是一个单调递增的整数,可以理解成「第几届领导」。

第一次选举:n2 与 n4 同时参选,票被分走
term=1 | 候选人: n2=2票, n4=2票 | 无人过半数,选举失败
随机化重试后第二次选举:n1 参选
term=2 | 候选人: n1=4票 | 选出 n1(4 票过半数)
leader=n1,其余节点把 term 提升到 2 并承认结果

第一行是典型的「票被分走」。5 个节点里,n2 和 n4 同时参选,各拿 2 票,谁都没过半数,选举失败。如果两个候选人一直同时参选,就会一直选不出来,系统卡在无主状态。

解决办法是随机化重试。失败后每个节点等一个随机时长再参选,错开时间,避免再次同时出发。第二次 n1 参选,拿到 4 票,超过半数,当选。其余节点把任期提升到 2,承认这个结果。注意「其余节点提升任期」这一步:不提升的话,它们还会认旧任期,下次选举又会乱。

过半数这条规则不是随便定的。它保证任何一次选举只有一个赢家:两个候选人不可能同时拿到超过半数的票,因为票总数有限。这也是为什么集群节点数通常取奇数,3 个节点需要 2 票,5 个需要 3 票,既能容忍少数节点故障,又不会出现平票僵局。

任期还有一层作用:防止旧 leader 复活后重新掌权。一个节点如果发现自己的任期比别人低,就必须放弃原来的身份,把任期提升到对方的值。旧 leader 恢复后,看到大家的任期已经更高,就知道自己已经不是主了。任期把「过去的领导」和「现在的领导」区分开,靠的是一个单调递增的数字,而不是谁先说话。

投票请求本身要带任期。收到请求的节点先比较任期,比自己低就直接拒绝,比自己高就更新自己的任期并考虑投票,相等才看候选人是谁。没有任期比较,光靠「谁先请求」投票,旧 leader 很容易靠资历把票拉回去。

租约:用时间给权力划一个边界

选出来之后,leader 的权力不是永久的,而是一段一段续的。leader 定期发心跳,告诉其他节点「我还活着」;其他节点维护一个租约,多久没收到心跳就认为 leader 失效,开始新一轮选举。

租约:leader 每 200ms 发心跳,租约 500ms;follower 超过 500ms 没收到心跳就开始选举
leader 暂停 300ms | follower 在 t=500 发起选举=false | 老 leader t=300 恢复,若写前校验租约则立即让位: false
leader 暂停 700ms | follower 在 t=500 发起选举=true | 老 leader t=700 恢复,若写前校验租约则立即让位: true

第一组:leader 暂停 300ms,短于 500ms 的租约。它在租约到期前恢复并继续发心跳,follower 在 t=500 时看到心跳还在,不会发起选举,所以结果是 false。老 leader 恢复后也不需要在写前校验,因为它确实还是主,结果同样是 false。

第二组:leader 暂停 700ms,超过租约。follower 在 t=500 时确认心跳断了,发起选举,结果为 true。老 leader 在 t=700 恢复,如果它在写之前校验租约,会发现自己已经过期,立即让位,结果也是 true。这里两个 true 分别指「选举发生了」和「老 leader 让位了」。

这两组数字说明租约的本质:它是一个「最多容忍多久失联」的约定。租约短,故障发现快,但容易误判,网络抖一下就可能触发选举;租约长,误判少,但 leader 真挂了要等更久才能恢复。参数是在「误判」和「恢复慢」之间找平衡。

租约依赖时钟,所以时钟偏差会直接影响判断。如果 follower 的钟比 leader 快,它可能提前认为租约到期,发起一次本不该发生的选举;如果慢,则会延后发现问题。跨机房部署时,这种偏差被放大。缓解办法是让所有节点使用同一个时间源,并给租约留出比偏差更大的余量。

心跳的方向也要明确:由 leader 主动发,follower 被动收。如果反过来让 follower 主动问「你还活着吗」,leader 就必须处理大量询问,故障时也更容易被打垮。主动心跳把压力放在少数的主上, follower 只做计时,结构更简单,也少了一条可能出错的路径。

脑裂:两个主同时写

租约能发现 leader 失联,但不能阻止失联的 leader 恢复后继续写。老 leader 可能只是因为 GC、磁盘抖动、虚拟机暂停而「看起来失联」,它自己并不知道已经被换掉。一旦恢复,它会继续按「我是主」处理请求。

脑裂的危害不是「选出了两个主」,而是「两个主都写了数据」。如果它们写的是同一份配置、同一把锁、同一个元数据,最后就会产生两份互相矛盾的真相,而且没有自动合并的规则。等到人工发现,往往已经过了很久。

防脑裂有几层。第一层是投票本身:新 leader 必须拿到过半数票,旧 leader 如果拿不到票,就不能再当选。第二层是租约:旧 leader 的租约到期后,它自己应该停止服务,而不是继续写。第三层是写入前校验:每次写之前确认自己还持有有效租约,不有效就拒绝。

第三层最关键,因为它是唯一在「真正写」的那一刻起作用的。前两层是协议层的约定,第三层是执行层的兜底。很多系统做了前两层就以为够了,结果老 leader 恢复后根本没检查租约,直接写,前两层全白做。

写前校验有两种实现。一种是向选主服务重新问一次「我还是主吗」,确认后再写;另一种是写入时带一个单调令牌,由存储层比较令牌大小。前者多一次网络往返,但实现简单;后者把校验放进数据层,更可靠,但要改存储。两者都比「只看内存标记」强。

还有一层是「多数派确认」。leader 在写关键数据前,可以要求至少一个其他节点确认这次写,或者让写操作在多数派上生效。这样即使 leader 是旧的,它也只能写到少数节点,不会形成「两个主都写成功」的局面。代价是每次写都更慢。

脑裂的检测不该只靠人工发现。可以专门监控「同一资源短时间出现两个写入来源」和「租约过期后仍有写入」这两类信号,前者直接说明有两个主在写,后者说明老 leader 没做校验。这两个指标比「选举次数」更能反映真实风险,因为选举次数多不一定是脑裂,但两个来源同时写一定是。

「我是 leader」这个内存里的标记,不能当作写权限。写之前必须向外部确认租约仍然有效,或者携带一个单调递增的令牌让存储层校验。只信本地状态,脑裂迟早发生。

参数怎么定:心跳、租约、选举超时

心跳间隔要远小于租约。心跳 200ms、租约 500ms,意味着连续丢两次心跳才会触发选举,给网络抖动留了缓冲。如果心跳和租约贴得很近,一次抖动就会误判,集群频繁选举,反而更不稳定。

租约要覆盖 leader 的正常停顿。一次 full GC、一次磁盘 fsync、一次短暂的调度延迟,都可能让 leader 停几十到几百毫秒。租约设得比这些停顿还短,等于自己制造脑裂。经验上,租约至少是「正常最长停顿」的两到三倍。

# 选主与租约参数(示意)
election:
  nodes: 5
  quorum: 3                  # 过半数,5 节点需要 3 票
  heartbeat_interval: 200ms
  lease_ttl: 500ms           # 约为心跳的 2 到 3 倍
  election_timeout: 500ms    # 超过租约未收到心跳即参选
  retry_jitter: 0..200ms     # 随机化,避免同时参选
  pre_write_check: true      # 写前校验租约,必须开

# 写入前校验(伪代码)
fn safe_write(key, value):
  if not lease_still_valid():
    step_down(); return REJECTED
  return store.write(key, value)

抖动范围通常取选举超时的一半左右,太小不起作用,太大又拖慢恢复。

节点数取奇数,并且要算清楚「能坏几个」。5 个节点容忍 2 个坏,还剩 3 个,刚好过半数;坏 3 个就选不出来了,系统进入无主状态,只能读不能写。跨机房部署时,还要保证「任何一侧都凑不够过半数」,否则分区后两边都能选出 leader,脑裂照样发生。

举一个具体分布:5 个节点,3 个放主机房、2 个放备机房。主机房断链后自己还有 3 个,能选出 leader 继续写;备机房只有 2 个,选不出来,只能等链路恢复。反过来如果 2 个放主机房、3 个放备机房,主机房断链后只剩 2 个,业务会停写。节点放哪一侧,直接决定故障时谁还能干活。

恢复时间也要估。leader 挂掉后,要等租约到期(比如 500ms)才触发选举,选举本身可能还要几十到几百毫秒,新 leader 接管后再同步状态。整段窗口可能是 1 秒左右。业务如果要求「写不能停超过 200ms」,这个参数组合就不达标,得换更短的租约,或者接受更频繁的误判。

这里要说明一下边界:真实的多节点选主部署、etcd 或类似系统的集群行为,未在本机实测。上面这些参数和机制来自通用的选主模型,具体产品的心跳、租约、选举实现会有差异,落地时要以实际组件的文档和实测为准,不能直接把示例数字抄进生产配置。

不要在没有把握的情况下把租约调得极短来「加快故障恢复」。租约过短会让正常抖动也被判成故障,集群反复选举,写请求不断被打断,实际可用性反而更低。

边界与代价

不需要唯一写者的系统别选主。无状态服务、只读副本、可以靠合并解决冲突的数据,选主只会增加复杂度和故障面。选主适合「写必须串行」的场景,不适合所有分布式系统。

选主期间服务会短暂不可写。leader 挂了到新 leader 选出来,中间有一段没有主的时间。业务要能接受这段「写失败」或「排队等待」,否则就要在客户端做重试和降级。把这段窗口估清楚,写进 SLA。

这段无主窗口还要区分「读」和「写」。多数系统在无主时仍然允许读,只是不允许写。如果业务把读也依赖在 leader 上,无主期间会连读都失败,影响面比预期大。设计时把读写路径分开,无主时至少保证读可用,能显著降低故障感知。

租约是「猜」,不是「知道」。系统永远无法立刻确认一个节点是死是活,只能靠超时猜。租约短会误判活节点为死,租约长会把死节点当活。没有哪个参数能同时消灭两种错,只能按业务更怕哪种来选。

脑裂防不住所有情况。写入前校验能挡住「老 leader 继续写」,但挡不住「老 leader 已经写了一半」。如果一次写涉及多个步骤,中途被换掉,仍可能留下半成品。所以关键写操作要幂等、要可补偿,不能只靠选主保证正确。

跨机房选主要算清楚票数分布。3 个节点放两个机房,断链后一边 2 个、一边 1 个,2 个那侧能选出 leader,1 个那侧只能读。如果两个机房都放 2 个、共 4 个节点,断链后两边各 2 个,都凑不够 3 票,整个系统进入无主。节点分布比节点数量更影响可用性。

选主是手段,不是目的。真正的目的是「让写入有确定的顺序」。如果能用单库事务、唯一约束、幂等键解决,就不需要选主。选主适合元数据、配置、锁这些「必须只有一个写者」的场景,不适合拿来给普通业务服务加一层主备。

选举本身也有成本。每次选举都要广播、投票、更新任期,节点越多、网络越慢,选举耗时越长。频繁选举还会让客户端不断重连、缓存失效。把选举次数做成监控指标,频繁选举本身就是系统不稳定的信号,应该去查网络和停顿,而不是调参掩盖。

一个务实的检查:把「leader 暂停多久会触发选举」和「业务一次写最长要多久」两个数放在一起看。如果后者大于租约,那么每次慢写都可能撞上选举窗口,这个检查不需要改代码,只要把两个真实数字找出来放在一起看,就能提前发现大部分隐患。

当天可以自验的五件事

  1. 找出系统里所有依赖「唯一主」的组件,标注它们选主用的是什么机制。
  2. 列出心跳间隔、租约时长、选举超时三个数,检查心跳是否明显小于租约。
  3. 确认 leader 在写入前是否校验租约,还是只依赖内存里的「我是主」标记。
  4. 检查选举失败后的重试是否带随机抖动,还是所有节点同时重试。
  5. 画出节点在机房上的分布,算一算断链后每一侧最多能凑几票,是否可能两边都选出 leader。

选主保证了「同一时刻只有一个写者」,但消息在网络里仍可能重复、乱序、延迟到达。下一篇《幂等、去重与顺序:消息重复和乱序怎么兜》会从一次消息序列 m1、m2、m2、m4、m3 讲起,说明为什么只去重还不够,还得校验顺序。