凌晨两点,监控群里跳出一条告警:接口 5xx 比例百分之百。值班的人第一反应是去看应用服务,八台机器都在,CPU 不高,进程也没重启。再往下查,发现所有服务连不上同一台 Redis。那台机器磁盘写满,持久化失败,被系统杀掉。Redis 恢复花了一分半钟,这一分半里,全站用户被登出,购物车清空,下单全部失败。
事后复盘最扎心的一点是:这台 Redis 不在任何「核心服务清单」里。它被十二个服务共用,做会话存储,谁都觉得它是「缓存,挂了就降级」,可实际上没有它,登录态就没了。它是一台机器,也是一个单点。
高可用这件事,最难的从来不是「买两台机器」。难的是先承认:系统里一定存在一个地方,它一挂,你所有备份都用不上。这篇先把这种地方找出来,再谈怎么补。
单点不是「只有一台」,而是「没有第二条路」
单点故障可以先用一句大白话定义:某个组件失效时,没有任何替代路径能让业务继续跑。注意它不要求这个组件只有一份。买了主备两台数据库,但应用只连主机、备机从没切过去、切换脚本一年没跑过,这仍然是单点,只是你为它多付了一台机器的钱。
下面这些现象在复盘会上经常被归成「偶然」,其实都是单点。表格按「先看到什么、真正原因、先查哪里」来排。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 所有服务同时报连不上缓存 | 十二个服务共用一个缓存实例,它不在核心清单里 | 把所有服务的连接串按主机名聚合,看哪个地址出现次数最多 |
| 主备切换后,流量还是打到旧机器 | 备机没接流量,或者 DNS、VIP 没真正切 | 从客户端侧抓一次连接目标地址,别只看配置文件 |
| 两台应用都挂了,负载均衡还活着但全返回 502 | 负载均衡自身是单点,且没有第二台 | 查入口层有几台、是否共享同一个进程或同一台宿主机 |
| 机房空调故障,两台「互为备份」的机器一起下线 | 冗余放在同一机架、同一交换机、同一路电 | 查两台机器的机架位置、上联交换机和供电回路 |
| 证书过期,所有域名同时不可用 | 证书、DNS、域名解析这些「配置类」依赖没有备份路径 | 列出入站链路上的证书与解析记录,标注到期时间 |
| 发布流水线挂了,回滚也做不了 | 发布系统本身是单点,回滚依赖它 | 确认回滚是否能手工执行、镜像是否在本地或独立仓库留档 |
| 监控没报警,事后才知道挂了 | 告警通道依赖同一套网络或同一个消息服务 | 用外部探针验证告警链路,别只看监控面板 |
这七条里,只有第一条是「组件挂了」,其余六条都是「替代路径不存在」。所以补单点的方法不是无脑加机器,而是先问:如果它现在挂,业务有没有第二条路可走。
还有一个容易被忽略的区别:单点和瓶颈不是一回事。单点是「挂了就全停」,瓶颈是「没挂但扛不住」。一台数据库既可能是单点,也可能是瓶颈,补法完全不同。前者要替代路径,后者要扩容或限流。复盘时把两者混在一起,结论就会变成「加机器」,而加机器往往只解决后者。
单点通常藏在共享依赖里
应用服务因为天天改、天天发布,反而最容易被重视。真正危险的是那些「大家都知道它在那儿,但没人负责」的东西:会话存储、分布式锁、配置中心、消息队列、DNS、NTP、证书、对象存储、日志收集、发布系统、堡垒机。它们的特点是共享、稳定、长期不出事,于是没人给它做冗余。
把链路画出来之后,判断单点有一个很实用的办法:沿着一次真实请求,逐个问「这个环节换一台机器还能不能跑」。能跑,说明有替代;不能跑,或者「理论上能,但没人试过」,就按单点算。注意后半句,「理论上能」在实际故障里经常等于不能。
共享依赖还有一个隐蔽变体:同一个依赖的多个副本其实共享同一个故障域。比如三台 Redis 在同一台宿主机上,或者两台数据库在同一个机柜、同一路电源、同一个交换机。数量上是三,故障域里是一。冗余要按故障域算,不是按进程数算。
另外,依赖是有方向的。你梳理订单服务依赖缓存,但缓存又依赖 DNS、依赖配置中心、依赖监控上报,排障时真正拖住恢复的往往是下游的下游。给每个共享依赖再问一层「它自己靠什么活着」,通常能发现几个没人认领的二级单点,比如统一的证书签发、统一的鉴权服务、统一的日志采集。
单点台账不必做大而全。一张表四列就够:组件、被谁依赖、失效影响、最近一次验证切换的时间。第四列空着的行,就是这个季度最该补的地方。台账放在所有人都能改的地方,每次故障后补一行,比一次性做完美梳理更能持续。
冗余分四层,别只做最上面一层
很多人一说高可用就想到「多部署几个实例」。实例冗余只是第一层,下面是更硬的层次。层次越往下,越不容易被上层感知,但成本和一致性代价也越大。
四层里最容易做的是实例冗余,最容易漏的是流程冗余。很多团队应用部署了十份,数据库也有从库,但发布平台一挂,连「回滚到上一版」都做不到。故障时最缺的不是机器,是能立刻执行的动作。
还有一层常被算进「数据冗余」、实际属于地理冗余:同城另一个机房、异地备份。它解决的是机房级事故,代价是跨机房延迟、专线成本和数据同步策略。机房级冗余不该和实例冗余混为一谈,因为它的切换单位是整个机房,而不是一个进程,决策和演练方式完全不同。
有冗余却不生效的四种典型
买了两份东西,不等于有两份能力。下面四种情况在真实系统里非常常见,每一种都能让「双机」在关键时刻变成「零机」。
冷备从未被验证
备机常年不开机、不接流量、不升级。真切换时发现版本不一致、数据落后、证书过期、磁盘挂载不对。冷备的价值不在「存在」,而在「最近一次成功切换是什么时候」。
共享同一个故障域
两台机器同一个机柜、同一路电、同一台交换机;两个容器在同一台宿主机;两个可用区的网络其实走同一条专线。数量翻倍,故障域没变。
另外两种更偏流程。一是切换没有触发条件:谁知道该切、依据什么指标切、切完怎么验证,全是口头约定,真出事时没人敢拍板。二是切换动作本身依赖故障组件:切换脚本放在那台已经挂掉的机器上,或者切换需要登录跳板机,而跳板机也在同一片网络里。
判断「冗余是否真生效」,不要看架构图,看三样东西:最近一次切换的时间、切换用了多久、切换后业务指标是否恢复。三样都有记录,才算数。
有一种更隐蔽的失效:副本都在,但控制面只有一个。比如服务发现只有一套、容器编排的控制节点只有一台、配置下发只有一个实例。业务进程挂了十次都没事,控制面挂一次,所有副本同时失去地址或配置,等于零副本。控制面本身也要按单点对待,而且它的恢复往往比业务进程更慢。
所以「有冗余」要同时满足两个条件:副本数量够,且让副本协同工作的那套机制也有替代。只满足第一个条件,故障时会出现「机器都在,但谁也找不到谁」的场面。
怎么把单点找出来:清单、拓扑、注入
找单点不需要一上来就做全量梳理,先做一张「共享依赖清单」就够用。清单按服务维度填,重点是「如果这个依赖不可用,这个服务还能做什么」。填不出「还能做什么」的,就是单点。
# deps.yaml
order-api:
session:
endpoint: redis-session.internal:6379
replicas: 1
fallback: none # 没有降级路径,按单点处理
config:
endpoint: config.internal
replicas: 3
fallback: local-cache-5m # 配置中心挂了,用本地缓存撑 5 分钟
mq:
endpoint: mq.internal
replicas: 3
fallback: outbox-retry # 消息发布失败先落本地表
清单填完,再画一张故障域图:哪些机器在同一个机架、哪些服务共用同一个数据库、哪些入口共用同一张证书、哪条专线只有一条。故障域图不用画得漂亮,能把「一起挂」的关系标出来就行。
最后是故障注入。不用一上来就在生产环境拔网线,先在预发环境做「单实例摘除」:从负载均衡里拿掉一台,看流量是否平均转移、有没有会话丢失、重试是否打爆剩余实例。再把共享依赖指向一个不可用地址,看降级路径是否真的生效。注入的价值是把「理论上能」变成「刚验证过能」。
不是所有东西都值得冗余
高可用做到最后,容易变成「什么都要双份」。但冗余有明确代价:资源翻倍、部署复杂、数据一致性更难、演练成本更高,而且多一份就多一个可能出错的地方。有些组件挂了,业务能接受短暂降级,这时做冗余反而不划算。
判断标准可以简化成三问:它挂了,用户能不能感知;感知了能不能接受;不能接受的话,有没有更便宜的替代方案。推荐位、非关键日志、后台报表,挂了就少一块内容,做降级提示即可;登录态、库存扣减、支付回调,挂了就是资损或全站不可用,才值得上冗余。
还有一种更便宜的做法是「把单点缩小」。与其给一个巨大的共享 Redis 做主从,不如按业务拆成几个独立实例,让一个实例的故障只影响一部分用户。这不算完整的冗余,但能把爆炸半径从全站缩到一个业务线,成本和复杂度都低得多。
反过来,冗余也不能替代容量规划。两台机器都跑在八成负载,挂一台之后剩下那台直接过载,切换成功也会在几分钟内被压垮。高可用里的「可用」包含容量余量,不只是副本数量。
算一笔账会更清醒。为一个日活一万的系统做异地双活,专线、机柜、同步链路、跨机房演练,每年成本可能是业务服务器本身的好几倍;而它真正会遇到的故障,多数是单机重启、磁盘写满、发布回滚,用两倍实例加一份可靠备份就能覆盖。冗余的层级应该和故障发生的概率对齐,而不是和 PPT 上的架构目标对齐。
边界与代价
冗余会掩盖问题。有主备之后,主机磁盘写满、内存泄漏、连接数打满,都能靠切换暂时扛过去,根因反而没人修。切换次数要在监控里显式统计,频繁切换本身就是故障信号。
数据冗余最难。计算和入口可以无状态地复制,数据不行。主从延迟、双写冲突、脑裂、恢复时的数据取舍,每一项都比加一台机器复杂。这也是后面几篇要展开的内容。
流程冗余不便宜。手工回滚、双人复核、离线镜像、独立告警通道,都要人力和定期演练来维持。没有演练的手工流程,在故障当天大概率跑不通。
小团队要克制。三五个人维护的系统,把四层冗余全做齐,运维成本可能超过业务收益。更现实的做法是:先消灭「共享的、不可替代的」单点,再保证数据和入口有备份,最后才做多机房。顺序反了,钱花了,故障时还是抓瞎。
别把「能切换」当成「切换后没事」。切换往往伴随会话丢失、缓存冷启动、数据库连接重建、定时任务重复触发。这些副作用不会在切换脚本里体现,却会让业务在切换后的十分钟里比故障时更难看。上线前把切换后的业务校验也写进演练清单,才算完整。
当天可以自验的五件事
- 从网关或应用日志里导出最近一小时的连接目标,按主机名聚合,列出被依赖次数最多的五个地址。
- 给这五个地址各写一句「不可用时业务怎么办」;写不出降级路径的,标成单点并排优先级。
- 挑一个标成单点的组件,在预发环境把它指向一个不可用地址,观察业务是报错、降级还是静默失败。
- 找出两台号称「互为备份」的机器,确认它们的机架、上联交换机、供电回路是否真的不同。
- 把回滚流程在纸上走一遍:发布系统挂了的情况下,从哪台机器、用哪条命令回滚,镜像在哪。任何一步需要现查,就把它补进文档。
下一篇讲健康检查。找出了单点,接下来要回答的是「怎么知道它现在还能不能用」。探针设得太松,故障实例还在接流量;设得太紧,健康的实例被批量摘除。这个分寸比想象中难拿。