凌晨两点十七分,数据库主库因为一次磁盘刷盘卡了 900 毫秒。健康检查连续失败,备机在第七百毫秒接管,虚拟 IP 切了过去。从监控上看,整个故障只持续了五十秒,告警随后恢复。值班的人松了口气,把这件事记成了「自动切换成功」。
第二天对账,发现八笔订单的支付状态是「已支付」,但数据库里这些订单显示未支付。再查,这八笔写发生在切换后的两百毫秒内,来自一台挂着长连接的旧客户端。它绕过了虚拟 IP,直接连到老主;老主刚从卡顿里恢复,内存里还认为自己是主,照单全收。等老主重新加入集群,它的数据被新主覆盖,八笔写就没了。
这就是故障转移真正的难点:把流量切到新主只是其中一步,让旧主彻底停止写入、让所有客户端都改道,才是决定有没有数据损失的步骤。这篇按切换动作的顺序拆开讲。
切换失败,通常不是「没切过去」,而是「切不干净」
先看一组真实出现过的现象。它们的共同点是:监控已经变绿,问题却还在继续。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 切换后对账少了几笔写 | 旧主恢复后仍接受长连接写入,重新同步时被覆盖 | 查旧主在切换后的写入量,以及客户端连接存活时间 |
| 监控显示切换成功,业务仍报错 | VIP 切了,但 DNS 缓存或客户端连接池还指向旧地址 | 在客户端侧抓实际连接目标,不要只看服务端 |
| 备机接管后立刻又切回 | 旧主恢复健康,健康检查把它判为可用,触发自动回切 | 查切换策略是否有防抖和回切冷却时间 |
| 切换耗时远超预期 | 检测、仲裁、提升、改路由串行执行,每一步都在等人 | 把切换流程打点,看时间花在哪一步 |
| 切换后备机负载瞬间打满 | 备机平时不接流量,缓存冷、连接池小、索引未预热 | 对比备机切换前后的 QPS、连接数与缓存命中率 |
| 同一时刻两地都宣称自己是主 | 没有仲裁,两边各自判断对方故障 | 查集群是否有奇数节点或独立仲裁服务 |
| 切换脚本执行到一半失败 | 脚本依赖某个已经挂掉的组件,或权限只存在于旧主 | 在无故障环境预演一次完整切换 |
这七条里,只有第四条是「流程没优化」,其余都是「边界没封死」。切换的本质不是把好的那台扶正,而是把坏的那台彻底排除,同时保证没有第三个写入者。
还要区分「故障转移」和「回滚」。转移是主机不可用时的被动接管,目标是尽快恢复写入;回滚是发布或配置出错时的主动退回,目标是回到已知正确状态。两者的判断依据、执行人和风险完全不同,不能共用一套按钮。把回滚当转移做,容易出现「新版本还没验证完就被自动退回」;把转移当回滚做,又会在真正的硬件故障前犹豫不决。
把切换拆成六个动作
一次完整的故障转移,至少包含六个动作。任何一个动作缺失,都会留下后面要还的债。
顺序很重要:隔离要在提升之前或同时完成,改道要在提升之后,验证必须在改道之后。很多事故是把隔离省掉了,直接提升加改道,旧主还活着,只是没人通知它。
这六个动作里,发现和决策决定「切不切」,隔离、提升、改道决定「切得干不干净」,验证决定「切完之后敢不敢说恢复」。把每一步的责任人和成功标准写清楚,比买一套自动切换工具更有用。工具只能执行动作,判断仍然要靠人定的规则。
发现:多快算快,多慢算稳
发现故障靠心跳或探针。心跳间隔越短,发现越快,但网络抖动造成的误判也越多;间隔越长,切换越慢,但更稳。一般建议心跳间隔 1 到 3 秒,连续丢失 3 次才判定异常,这样单次丢包不会触发切换。
除了心跳,还要有独立于主备链路的判断。比如从两个不同机房的外部探针分别探测,避免「主备之间的网络断了,但两边其实都活着」被误判成主机故障。这类误判是脑裂的常见起点,后面会单独讲。
发现之后不要立刻切换。先确认影响面:是所有写入都失败,还是只有部分客户端;是主库进程没了,还是机器还在但磁盘满了。不同的故障,处理方式完全不同。进程崩溃可以快速提升;磁盘满或数据损坏,盲目提升备机可能把坏数据带上去。
最难判断的是「假死」:机器还在,ping 通,SSH 也能上,但数据库进程卡在某个系统调用里,不响应查询。心跳可能还在发,因为心跳线程恰好没被卡住;探针可能还通过,因为探针只查端口。这种状态最危险,因为看监控一切正常,业务却已经写不进去。判断假死要看业务级指标,比如写入延迟、事务提交数、锁等待时间,而不只是进程存活。
发现阶段的另一个原则是「宁可误报,不要漏报,但误报只告警、不自动切」。告警可以让人去看一眼,自动切换却会直接改变系统状态。把发现和决策分开,误判的代价就从「切错了」降到「多了一条告警」。
决策:谁有权说「切」
自动切换最危险的地方,是两台机器都认为对方挂了,然后各自提升。避免这件事的办法是仲裁:只有一个获得多数票的节点才能成为主。三节点集群里,至少两个节点同意才算数;两地两中心的四节点,往往需要引入一个独立的仲裁节点,否则二比二永远平票。
仲裁还要考虑网络分区。如果主备之间的网络断了,但两边都能收到客户端流量,仲裁服务必须能判断「哪一边还有多数派」。只按「谁先发现对方不可达」来切,等于把决定权交给了网络抖动。
小规模系统可以用更简单的规则:只允许人工切换,或者只允许从主到备的单向自动切换,备机永远不能自动抢主。牺牲一点恢复速度,换掉脑裂风险。这个取舍在业务量不大时非常划算。
决策还要写清楚「谁有权拍板」。自动系统只处理预先定义好的硬条件,比如主机连续失联超过阈值且备机数据追平;涉及数据可信度、业务影响的判断,必须有人参与。值班人要有明确的授权,不能每件事都等负责人睡醒。授权范围、联系人、升级路径,都要写在预案里,而不是靠群里喊人。
隔离:旧主必须真的写不进去
隔离(fencing)是故障转移里最容易被跳过的一步。常见做法有三种:关掉旧主的写入权限、把旧主从网络里摘出去、让存储层拒绝旧主的写请求。三种都要有,不能只靠「发个通知让旧主自己让位」。旧主可能卡在 GC、可能收不到通知、可能收到了但不执行。
最可靠的是存储层校验。每次写入带一个单调递增的租约号或 fencing token,存储层只接受当前有效的号段。旧主持有的号段过期后,它的写请求会被直接拒绝,不管它自己以为自己是主。这个机制不依赖旧主配合,也不依赖通知送达。
# 本机 Node 24 模拟:租约 600ms、健康检查 100ms、每 50ms 一次写
# 冻结 900ms 时触发切换;恢复后仍有 1/3 的客户端把写发往旧主
冻结 900ms | 写前校验租约=true | 是否切换=true | 空窗失败 17 笔 | 老主接受 0 笔 | 新主接受 15 笔 | 被拒 8 笔 | 恢复后写进老库 0 笔
冻结 900ms | 写前校验租约=false | 是否切换=true | 空窗失败 17 笔 | 老主接受 8 笔 | 新主接受 15 笔 | 被拒 0 笔 | 恢复后写进老库 8 笔
输出里最值得看的是最后两列。同样的切换流程,写前校验租约的实现把 8 笔过期写拒掉了;不校验的实现让旧主收下这 8 笔,写进一个即将被覆盖的本地库。切换本身都「成功」了,差别全在隔离。空窗失败 17 笔是切换过程中无法避免的代价,后面会讲怎么缩短。
如果没有存储层的 fencing,退而求其次的做法是:切换后先确保旧主被强制下线,再允许新主接写。强制下线可以是关机、断网、撤销数据库账号,任何一种都行,关键是它必须真的生效,而不是「应该生效」。
改道:流量怎么真正到新主
改道有三种常见方式,各有各的残留问题。虚拟 IP 切换最快,但只对新建连接生效,长连接和连接池里的旧连接还指着旧地址。DNS 切换最通用,但受缓存影响,生效时间从几秒到几十分钟不等。服务发现最灵活,但依赖客户端定期刷新,刷新间隔就是残留窗口。
实际系统往往三种都用:VIP 做第一层快速切换,服务发现做第二层,应用侧再加一个「连接失败就重新解析」的重试逻辑。三层都到位,才能把「客户端还在打旧主」的窗口压到最小。
快速改道
VIP 或负载均衡改后端,几秒内生效。优点是快,缺点是对长连接和已缓存的地址无效。适合作为第一层止血,不能当作唯一手段。
彻底改道
域名、服务发现、客户端重解析全部更新,覆盖新建和存量连接。优点是干净,缺点是链路长、生效慢,任何一层没刷新都会留下残留窗口。
改道后要检查的不是「配置改了没有」,而是「实际连接打到了哪里」。在客户端侧抓一次连接目标,或者在新主上看看连接来源,比看配置文件可靠。很多切换事故就出在「配置已经改了,但进程没重载」。
切换之后,还有四件事要补
缓存。备机平时可能只有冷缓存,接管后大量请求穿透到数据库,把新主压垮。切换前让备机保持热缓存,或者切换后主动预热关键数据。缓存键如果带主从标记,还要确认新旧主读写的是同一套键。
连接池。应用连接池里指向旧主的连接要主动失效,否则会继续重试旧地址。连接池的最大连接数也要重新分配:原来十台应用连一台主,现在连新主,新主的连接上限是否够。
定时任务与消息消费。很多系统在主库上跑定时任务,备机接管后这些任务可能没人跑,或者两边都跑一遍。切换流程里要明确哪些任务跟着主走、哪些任务应该暂停、哪些任务需要去重。
数据追赶。如果切换时备机还落后几条日志,提升前必须先追平,或者明确接受这几条的丢失。追平的动作要有超时和失败处理,不能无限等待,否则切换永远完不成。
这四件事里,缓存和连接池影响恢复速度,定时任务影响数据正确性,数据追赶影响是否丢数据。切换完成后不要只看「服务起来了」,要按这四项逐条确认。最好把它们写进同一个检查脚本,切换后自动跑一遍,输出一份可留档的结果。
边界与代价
自动切换不是越自动越好。数据损坏、磁盘满、误删表这类故障,自动提升备机可能让问题扩散。这类场景更适合先告警、人工判断,再决定切不切。自动切换只该覆盖「主机彻底不可用且备机数据可信」这一种情况。
切换是有空窗的。从故障发生到新主接写,中间一定有一段时间写入失败。这段时间的长短由检测、仲裁、提升三步决定,通常几秒到几十秒。业务要能接受这段空窗,或者用队列、重试、本地暂存来兜。声称「零中断切换」的方案,通常是把空窗藏在了客户端重试里。
回切比切换更危险。旧主恢复后,它的数据可能落后,直接回切会把新主上的写入丢掉。正确做法是让旧主以从库身份重新加入,追平后再考虑角色互换。自动回切要加冷却时间,避免两台机器来回抢。
演练比参数重要。切换脚本放一年不动,权限、地址、证书都会过期。每个季度至少切一次,记录从故障到恢复的每一步耗时。没有演练的自动切换,关键时刻大概率卡在一个没人记得的步骤上。
别把切换当成万能钥匙。如果故障根因是容量不足、慢查询、连接泄漏,切换只是把问题从一台机器搬到另一台,过一会儿还会复发。切换前先判断根因是否跟着数据走,根因不跟着走,切换才有意义。
当天可以自验的五件事
- 把切换流程写成六步清单,逐步标注「谁执行、用什么命令、失败怎么办」;任何一步写不出命令,就是隐患。
- 在预发环境冻结主库 900ms,观察是否触发切换、切换用了多久、切换后旧主是否还能写。
- 切换后保持一条长连接,记录它多久才改连新主;这个时间要和业务的重试窗口对比。
- 检查所有写入路径是否都校验租约或 fencing token,包括定时任务、消息消费者和运维脚本。
- 把回切流程单独走一遍:旧主以从库身份加入、追平、再互换角色,记录数据是否有差异。
下一篇讲主从复制与延迟。切换能解决「主库没了」,解决不了「从库还落后几条」。读到旧数据这件事,在切换前后都会发生,而且更容易被误判成业务 bug。