凌晨一点四十,一条「下单失败率超过阈值」的告警进了值班群。值班的是入职三个月的新人,他先打开监控大盘,翻了五分钟没看出异常;再去找文档,找到一份两年前的故障预案,正文只有一句「重启订单服务」。重启需要生产环境权限,他没有;在群里找人授权,负责人手机静音;等电话打通、权限批下来,已经过去三十分钟。业务在这三十分钟里持续报错。
事后复盘,根因只是一个缓存节点的连接数打满,重启缓存或摘除节点都能止血。系统本身的高可用做得不算差,真正拖长故障的是「不知道该先做什么、能做什么、找谁做」。预案写了,但不可执行;演练做过,但只演了「服务挂了」,没演「值班的人第一次遇到」。
这篇讲值班时的判断顺序、预案该写成什么样、演练怎么设计。高可用的最后一段不是技术,是人和流程。
故障时最浪费时间的七件事
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 告警响了半小时,还没开始处理 | 值班人不知道告警含义,先看大盘再找人 | 查告警描述是否写清「影响什么、先做什么」 |
| 预案打开只有一句「重启服务」 | 预案没有命令、权限和验证步骤 | 查预案是否能在没有原作者的情况下执行 |
| 处理到一半发现没有权限 | 值班账号权限不足,授权流程依赖某个人 | 查值班角色的权限清单与授权时效 |
| 两个人同时操作,互相覆盖 | 没有明确指挥人,群里多人同时改配置 | 查是否有唯一的现场负责人和操作记录 |
| 止血之后又复发 | 只处理了症状,没有确认根因是否还在 | 查止血动作的验证指标和观察窗口 |
| 回滚脚本执行失败 | 脚本依赖的镜像、权限或配置已经变化 | 在无故障环境预演回滚,确认依赖可用 |
| 复盘时说不清时间线 | 没有统一的记录,靠回忆拼凑 | 查告警时间、操作时间、恢复时间是否有留痕 |
这七条里,只有最后一条偏「事后」,其余六条都发生在故障进行中。它们共同说明一件事:故障持续时间,往往不由技术复杂度决定,而由「找到正确动作」的速度决定。
告警本身也要分级。能自动恢复的、影响部分功能的、影响核心链路全量的,应该走不同的通道和响应时限。全量告警和「磁盘使用率略高」混在同一个群,值班人会被噪音淹没,真正重要的那条反而被刷过去。分级不是形式,它决定注意力先放在哪里。
值班第一件事:先定影响面,再止血
很多人第一反应是「找根因」。根因重要,但在故障进行中,用户还在报错,先让业务恢复比弄清为什么更重要。正确的顺序是先判断影响面,再做能快速验证的止血动作,最后才深入根因。
「确认影响」不是看所有监控,而是回答三个问题:影响的是全部用户还是部分用户;核心链路是断了还是变慢;开始时间点能不能和某次发布、配置变更、流量波动对上。三个问题答完,处理方向基本就有了。
「选择止血」要挑「动作小、验证快、可回退」的。回滚上一次发布通常最快;切流到备用机房次之;扩容和限流能缓解容量问题,但见效慢;降级会损失功能,作为最后手段。不要一上来就做不可逆的操作,比如删数据、重建集群。
「控制变量」是很多人忽略的。同时改三个配置,恢复了你也不知道是哪个起了作用,下次还会犯。一次只改一处,改完记录时间,观察几分钟,再决定下一步。故障中时间紧,但盲目操作会让排查更慢。
现场要有唯一的指挥人。不是官最大的那个,而是最了解当前系统、能拍板的人。其他人负责查资料、执行命令、对外沟通,但改配置、重启、切流这些动作要经过指挥人确认,避免两个人同时操作互相覆盖。指挥人可以轮换,但同一时刻只能有一个。
对外沟通也要有人负责。客服、业务方、管理层需要不同的信息密度:客服要知道「哪些功能受影响、话术怎么说」,业务方要知道「大概什么时候恢复」,管理层要知道「影响范围和当前动作」。这些信息由同一个人统一出口,避免群里说法不一致。
预案要写到「新人能照做」
预案不是给写的人看的,是给凌晨三点、没参与过这个系统的人看的。判断标准很简单:一个没有上下文的值班人,能不能只靠这份文档完成动作。
一份可执行的预案,至少包含六块:触发条件、判断树、具体动作、验证方法、沟通对象、回退方式。
剩下两块是沟通和回退。沟通要写清「通知谁、用什么渠道、多久更新一次」;回退要写清「这个动作怎么撤销、撤销后会不会丢数据」。这两块经常被省略,故障时却最需要。
预案还要有「升级路径」。值班人权限不够、判断不了、动作失败时,找谁、多长时间内必须找到。升级路径要写到具体的人或角色,不能写「找相关负责人」。负责人休假、手机静音的时候,预案就断了。
预案和监控要对应。每条告警都应该能指向一份预案,每份预案也应该说明它由哪条告警触发。告警改了阈值,预案要跟着改;预案改了动作,告警描述要跟着改。两边长期不对应,就会出现「告警指向一份过期的文档」。
三种演练,目的不同
桌面推演
不看系统,几个人对着预案走一遍:假设现在这个告警响了,你先做什么、看哪个指标、执行哪条命令、找谁授权。成本最低,最适合发现「文档写了但没人看得懂」的问题。
故障注入
在预发或生产的小范围里真的制造故障:摘一台实例、断一条链路、让下游超时。验证探针、切换、限流、降级是否按预期工作。它测的是系统,也测人。
第三种是全链路演练:模拟机房级或核心依赖级故障,把流量调度、数据切换、业务降级、客服话术一起跑一遍。成本最高,通常一个季度或半年做一次,适合关键系统。
三种演练不是替代关系。桌面推演最便宜,应该每月做;故障注入验证技术动作,每月或每季度做;全链路演练验证整体协同,按业务重要性安排。只做全链路、不做桌面推演,会出现「系统切过去了,值班的人还在找文档」。
演练必须有爆炸半径和终止条件
演练不是演戏,它真的会制造故障。没有边界的演练,和事故没有区别。开始之前要写清三件事:影响范围、终止条件、回退动作。
影响范围。是只影响内部测试账号,还是会影响百分之一的真实用户;是只摘一台实例,还是整个可用区。范围要写成可执行的规则,比如「只对带测试标记的请求生效」「只操作非核心集群」。
终止条件。什么情况下立刻停止:错误率超过阈值、客服收到投诉、核心指标持续恶化、演练时间超过预期。终止条件要由一个人拍板,不能靠群里投票。
回退动作。每一步注入都要有对应的撤销操作,并且验证过。断网的能恢复,摘除的能加回,限流的能放开。回退也要有顺序,不能恢复一半卡住。
注入工具本身也要可控。能按比例注入就不要全量,能按用户标记注入就不要影响真实用户,能定时结束就不要依赖人记得停。工具要记录每次注入的开始时间、范围、参数和结束时间,事后能对上监控曲线。没有记录的注入,复盘时说不清哪段异常是演练造成的。
演练之后要留下什么
演练结束,最有价值的不是「成功了」这个结论,而是时间线和暴露的问题。至少要记录:从注入到发现用了多久、从发现到判断用了多久、从判断到动作用了多久、从动作到恢复用了多久。
这四个时间对应四个能力:监控发现能力、值班判断能力、权限与工具能力、系统恢复能力。哪一段最长,下一次就优先补哪一段。很多团队只记录「演练成功」,下次真出事,同样的卡点还在。
暴露的问题要分两类:系统问题和流程问题。系统问题进技术待办,比如探针太浅、切换脚本失败、下游没有降级;流程问题进预案,比如权限不足、联系人失联、文档过期。两类都要有负责人和截止时间,否则复盘就只是开会。
复盘还要避免「找一个人背锅」。故障是系统性的,个人失误往往只是最后一环。把「为什么这个动作会做错」问清楚,比问「谁做错了」更有价值。前者能改系统,后者只能改人。
复盘会议要有明确的产出,不能只停留在「大家以后注意」。至少要有几条带负责人和截止时间的行动项,并且下次复盘时回看上一次的行动项有没有做完。没有闭环的复盘,会反复讨论同一个问题,大家的积极性也会慢慢耗尽。
记录本身也要能被找到。复盘写在聊天群里、个人笔记里、或者某个没人访问的目录里,等于没写。演练记录和故障复盘应该放在值班人第一时间会打开的地方,按系统和服务可检索,并且和预案放在一起。找文档的时间,也是故障恢复时间的一部分。
边界与代价
演练不能覆盖所有故障。真实故障的组合往往比演练复杂:发布出错叠加数据库慢查询,再叠加机房网络抖动。演练只能验证单点动作和基本协同,不能保证覆盖所有组合。它的目标是缩短「第一次遇到」的时间,不是消除未知。
预案会过期。地址、权限、命令、联系人都会变。没有定期维护的预案,关键时刻比没有更危险,因为它会让人产生「有文档」的错觉。每次演练后更新一次,每次故障后补一条,是最低成本的维护方式。
演练有成本。占用人、占用环境、可能影响用户。小团队不需要每月做全链路,但桌面推演和单点注入的成本很低,值得坚持。关键是别把演练做成「表演给领导看」,要真的暴露问题。
值班人要有授权。预案写得再好,没有权限也执行不了。值班角色应该有明确的、有限范围的紧急权限,比如重启、摘流、回滚,而不是每次都要找人批。权限范围和审计记录要同时存在,既敢动手,也能追溯。
值班轮换要可持续。长期让同一个人值夜班,判断力和积极性都会下降。轮换、补休、交接记录,看起来是管理问题,实际直接影响故障恢复速度。交接时要写清当前系统状态、未闭环的问题、已知的风险点,别让下一个人从零开始。
别把止血当成修复。止血让业务恢复,根因可能还在。止血之后要有后续的技术任务,把临时措施变成永久修复。很多系统一年后还在靠「每天重启一次」维持,就是止血动作没有闭环。
演练频率不是越高越好。每次都折腾一遍所有人,团队会疲劳,动作也会变成走过场。低频但真实的一次注入,比每月一次照着脚本念更有价值。
当天可以自验的五件事
- 找一份现有预案,假装自己是新人,按文档执行一遍;任何一步需要「问别人才知道」,就补进文档。
- 确认值班账号是否有重启、摘流、回滚的权限;没有的话,列出需要开通的最小权限清单。
- 把最近一次故障的时间线写出来:告警、发现、判断、动作、恢复各是什么时间,找出最长的一段。
- 做一次桌面推演,只推演一个场景:核心缓存不可用。记录每个人第一反应做什么,看看分歧在哪。
- 给下一次故障注入写清影响范围、终止条件和回退动作,找一个人拍板终止,再开始执行。
高可用这一组到这里就完整了:先找单点,再谈探针、切换、复制、脑裂、多活、容量,最后落到人和预案。技术方案决定系统能扛住什么,预案和演练决定故障发生时能多快恢复。两者缺一,前面的投入都会在关键时刻打折。
下一组文章转向微服务:服务怎么拆、地址怎么发现、配置怎么生效、请求跨了六个服务怎么定位。那些问题看起来是架构问题,追到根上仍然是可用性和一致性问题,只是换了一个发生位置。