两个机房之间有一条专线,平时延迟两毫秒。那天中午它抖了四十秒,丢包率一度到百分之百。机房 A 的监控发现联系不上机房 B,判定对端故障,把本地的备库提升为主;机房 B 同时做了同样的事。四十秒里,两个主都在接受写入,各自往自己的日志里记。

恢复之后,同步程序发现两边都有对方没有的事务。库存字段两边都变成了 0,看起来一致;但订单表里一边有一笔 A 区的订单,另一边有一笔 B 区的订单,都指向同一件商品。系统按时间戳做了自动合并,计数器取了较新的那个值,另一边的两次自增被直接覆盖。库存对不上,订单却都是真的。

脑裂(split-brain)说的就是这件事:系统被网络分成两半,每一半都认为自己才是唯一的主,并且都接受了写入。它不是「两台机器都活着」这么简单,而是「两个大脑同时指挥一个身体」。后果通常不是服务不可用,而是数据悄悄写坏。

要和「网络分区」区分开。分区是链路断了,脑裂是分区加上「两侧都提升为主」。只分区、不双写,系统只是少了部分能力,数据仍然一致;一旦两侧都接受写,哪怕只持续几秒,也已经产生了两份互不承认的历史。判断有没有脑裂,不看链路状态,看「同一时刻有几个节点认为自己是主」。

脑裂发生时,你会看到什么

脑裂最麻烦的地方是:监控上往往一切正常。两边都在提供服务,写入都成功,延迟也不高。真正的问题要等到数据合并或用户投诉才暴露。

现象真实原因第一步查什么
同一件库存卖出两单分区两侧各自扣减,都认为库存足够查两笔订单的写入节点与时间,确认是否跨分区
计数器比实际少合并时按最后写入覆盖,另一侧的增量被丢掉对比两侧的操作日志,确认丢失的增量条数
两边都显示自己是主没有仲裁,各自把「联系不上对方」当成对端故障查集群拓扑、仲裁节点和提升日志
恢复后数据自动「变回去」同步程序用时间戳合并,较旧的一侧被覆盖查合并策略与冲突解决规则
同一用户在两台机器上登录状态不同会话数据也双写,两边各有一份查会话存储是否共享、是否也做了主备
分区恢复后写入仍然失败两个主互相拒绝,或 fencing 把两边都锁住查租约状态与 fencing token 当前值
故障只发生在跨机房调用同机房内正常,跨机房链路被分区但未完全断开用双向探测确认是单向断还是双向断

第七条特别值得注意:很多「分区」不是彻底断网,而是单向不可达、某个端口被挡、或者只有部分节点失联。这种不完整的分区最容易骗过监控,也最容易让两侧做出相反判断。

还有一种更隐蔽的情况:控制面能通,数据面不通。心跳走的是轻量接口,业务写入走的是另一条链路或另一个端口。心跳一直正常,两边都认为对方活着,但业务数据已经写不过去了。这种状态下不会自动提升,业务却已经在单边写入,等心跳也断了才开始切换,中间的数据差可能已经很大。

脑裂的四种常见起点

网络分区机房之间、交换机之间、安全组规则变更,导致节点互相不可达,但各自都能收到客户端流量。
假死机器还在,进程卡住,心跳线程恰好还活着。对端收不到业务响应,却收得到心跳,判断逻辑摇摆。
双主配置本来就想让两边都能写,靠应用层「按用户分片」避免冲突。一旦分片规则出错或跨分片操作出现,双写立刻变成冲突。
误操作运维在备机上手工执行了提升命令,自动系统又提升了一次;或者旧主恢复后被误认为新主。

四种起点里,网络分区和假死是客观故障,双主配置和误操作是人为选择。后者更可控,也更常被低估。很多团队为了「两边都能写」而设计双主,却没设计冲突解决,等于把脑裂变成了日常状态。

假死最典型的欺骗方式是心跳还在。进程里往往有独立的线程负责心跳和健康检查,业务线程被死锁卡住,心跳线程却照常发。对端看到心跳正常,就不提升;客户端看到请求超时,就一直重试。这个状态可以持续很久,直到有人发现「心跳健康但业务全挂」。所以判断存活不能只看心跳,还要看业务写入是否在推进。

双写之后,数据到底坏在哪

不是所有字段都会坏。理解哪些会坏、坏成什么样,决定了你该用哪种合并策略。

自增和计数会丢。两边各自加一,合并时只能留一个结果。按最后写入覆盖,另一边的增量就没了;按相加合并,又可能把重复投递算两次。计数器是最典型的「看起来能合并,实际很难」。

唯一性约束会冲突。两边都创建了同一个用户名、同一个订单号、同一个幂等键,合并时必然有一边要失败。数据库的唯一索引能挡住重复,但挡不住「两边都成功、合并时才发现」。

状态机会分叉。订单在 A 区被取消,在 B 区被支付,合并后既不是已取消也不是已支付。状态机没有「两个状态同时成立」的合法值,只能人工介入。

# 本机 Node 24 模拟:库存 1 件,分区后 A、B 各接一单
A 侧订单: A-1,B 侧订单: B-1
合并后库存: 0,但成功订单共 2 笔,超卖 1 件
今日下单数: A=2 B=2,按 LWW 取 B 的 2,丢掉 2 次

这段输出把两类损坏放在一起:库存和订单是「约束冲突」,计数器是「增量丢失」。前者还能靠对账发现,后者往往静默发生,等到报表对不上才有人注意到。脑裂真正可怕的不是当场报错,而是事后无声的数据偏差。

冲突的粒度也很重要。按整行覆盖,丢的是一行里的其他字段;按字段合并,可能把「用户改名」和「用户改手机号」两个操作都保留下来,看起来更好,但字段之间可能失去关联。合并单位越细,越需要业务知道哪些字段可以独立变化。没有这层领域知识,算法越聪明,错得越隐蔽。

操作日志是事后还原真相的唯一依据。只要日志里记下了「哪个节点、什么时间、改了什么、基于哪个版本」,即使数据被覆盖,也能重放或对账。日志本身要写在独立介质上,不能和业务数据一起被合并程序覆盖。很多团队出了脑裂才发现,日志只记了结果,没记版本,根本判断不了谁先谁后。

合并策略:没有一种能还原真相

分区恢复后,必须把两份数据合成一份。常见策略有三种,每一种都有明确的能力边界。

最后写入获胜(LWW)

按时间戳取最新。实现简单,但依赖时钟可信;两边时钟差几毫秒,胜负就可能反过来。它只能保留一个版本,另一边的写入直接消失,适合「整行覆盖」的场景,不适合计数和累加。

版本向量与冲突标记

每个副本记录自己见过的版本,合并时能发现「两边都改过」。发现冲突后不自动选一个,而是标记出来交给业务或人工处理。它保留了真相,但把复杂度推给了使用方。

第三种是业务补偿:不合并数据,而是根据操作日志重放,或者对账后补一笔冲正。它适合金额、库存这类不能「选一个」的字段。代价是需要完整、可重放的日志,而且补偿本身要幂等,否则重放会把错误放大。

无论用哪种,都要先回答一个问题:这次冲突里,哪一份是「用户真正想要的结果」。如果回答不了,就不要自动合并。自动合并只是把问题藏起来,并没有解决。

有些系统会引入可交换的合并类型,比如「只增不减的集合」和「按规则收敛的计数器」。这类结构的好处是无论谁先谁后,合并结果都一样,不需要人工判断。限制也很明显:它只适用于少数数据结构,业务流程里大量「先检查再更新」的操作无法表达成可交换操作。把普通业务硬套成可交换结构,往往会在别处引入更复杂的补偿逻辑。

防脑裂:让第二个主根本站不起来

事后合并是被动的,真正有效的是事前不让双主出现。核心思路只有两个:提升需要多数派同意;旧主必须能被强制剥夺写入能力。

仲裁。三节点或五节点集群,只有拿到多数票的节点才能成为主。两机房四节点容易二比二,需要第三个站点或独立仲裁服务。仲裁服务本身也要能被两边访问,否则它自己就成了新的单点。

租约。主的身份不是永久的,而是一段有期限的租约。租约到期前必须续约,续不上就自动降级。这样即使旧主没收到「你已卸任」的通知,它也会因为租约过期而停止写入。租约的关键是「写入前校验」,不是「定时检查」。

fencing token。每次提升产生一个单调递增的编号,存储层只接受当前有效编号的写入。旧主拿着旧编号,写不进去。这个机制不依赖旧主配合,是防双写最硬的一道锁。

STONITH。直译是「射杀另一个节点」,用断电、断网、强制关机等手段确保旧主真的停止。它粗暴,但在没有可靠 fencing 的老系统里很有效。前提是关机命令本身要可靠,不能依赖已经故障的网络。

租约时长要按「你能接受多长的双写窗口」来定,而不是按「切换要多久」来定。租约越短,旧主过期越快,双写窗口越小,但续约压力越大,网络抖动时误降级的概率也越高。常见做法是心跳间隔的几倍,并且写入路径上校验剩余租期,剩余不足就拒绝新写入。

「旧主会自己发现租约过期」不能当作唯一防线。旧主可能卡在 GC、可能有一条不检查租约的批处理路径、可能时钟被改。防双写要在存储层做,不能只靠应用层自觉。

分区恢复后的正确顺序

很多二次事故发生在恢复阶段:两边一看到网络通了就自动同步,结果把冲突数据互相覆盖。正确顺序应该是先隔离、再比对、最后合并。

分区恢复后的五个步骤
冻结先停止两侧写入,避免恢复过程中继续产生新分叉
取证导出两侧日志、位点、冲突行,保留现场
定主按仲裁结果确定唯一主,另一侧降为从
合并按预先定义的策略处理冲突,不能边同步边改规则
验证对账关键字段,确认没有静默丢失

「冻结」这一步最容易被跳过。大家看到网络恢复,第一反应是让同步赶紧跑起来,结果同步程序在两份分叉数据之间来回覆盖,现场被破坏,事后连哪边写过什么都查不清。先停下来,比先跑起来更重要。

合并完成后还要做一次全量对账。不要只看行数,要看关键业务字段:金额、库存、状态、计数。行数一致不代表内容一致,很多冲突是「两边都有这行,但值不同」。对账结果要留档,作为后续追责和修复的依据。

边界与代价

防脑裂会降低可用性。要求多数派同意,意味着少数派一侧在分区期间不能写。这是拿可用性换一致性。业务能不能接受,取决于分区期间那部分用户是「不能下单」还是「下了单也可能丢」,前者通常更容易接受。

仲裁需要第三个故障域。两个机房做仲裁,票数容易平;引入第三站点,成本和网络延迟都上来。第三站点只做投票、不存业务数据,成本相对低,但它的网络必须独立于前两个机房之间的链路。

双主不是绝对不能做。如果业务能按用户或地域天然分片,两边只写自己的分片,跨分片操作很少,双主可以成立。但它要求分片规则极其稳定,且所有跨分片写都有明确的归属。大多数业务做不到这一点,最后都会退化成「两边都能写、冲突靠人补」。

自动合并有上限。能自动合并的,通常只有「整行覆盖」和「明确可交换的操作」。涉及金额、库存、状态机,自动合并的风险大于收益。承认有些冲突必须人工处理,比写一个看起来很聪明的合并算法更诚实。

最后,别把「两边都能写」当成高可用的标志。真正的高可用是「同一时刻只有一个写入者,它挂了能快速换一个」,而不是「两个写入者同时在线」。后者看起来可用性更高,实际把一致性风险埋进了数据里,等到发现时往往已经过了可恢复的窗口。

一个低成本的检查:把集群拓扑画出来,问「如果这条线断了,哪一侧还能拿到多数票」。如果答案是「两边都能」,那你现在就有脑裂风险,只是还没触发。

当天可以自验的五件事

  1. 画出当前集群的仲裁拓扑,确认任意一条链路断开后,最多只有一侧能获得多数票。
  2. 检查提升逻辑:是「联系不上对方就提升」,还是「拿到多数票才提升」;前者要改。
  3. 确认所有写入路径都校验租约或 fencing token,包括定时任务、补偿脚本和消息消费者。
  4. 在预发环境模拟单向不可达(只断一个方向),观察两侧判断是否一致,是否会出现双主。
  5. 写下分区恢复后的操作顺序,明确谁有权冻结、谁负责合并、冲突数据怎么留档。

下一篇讲多机房与多活。脑裂是「两个主」的极端情况,多活则是主动让多个机房同时提供服务。后者不是脑裂的解药,反而会把冲突、延迟和流量调度的问题放大。先把单机房的主备做扎实,再谈多活。