支付服务的数据库锁等待变长,接口从 50 毫秒变成 3 秒。订单服务有 200 个工作线程,下单请求进来就占一个线程,然后同步等支付返回。按每秒一百个下单请求算,三秒的等待意味着同一时刻最多有 300 个请求需要线程,而池里只有 200 个。几分钟后线程全部被占满,新请求开始排队,队列也满了,于是所有请求一起超时。

更糟的是,订单查询接口和下单用的是同一个线程池。查询本来不碰支付,半毫秒就能返回,现在连线程都拿不到。用户看到整个订单页白屏,客服电话被打爆,重试又把流量翻了一倍。一个下游变慢,最后变成全站不可用,这就是雪崩。

事后看,问题不是「支付服务挂了」,而是「订单服务没有任何机制阻止自己一直等下去」。这篇讲三件事:怎么用隔离把故障关在一个舱里,怎么用熔断在确认下游不行时快速失败,以及失败之后拿什么返回给用户,也就是降级。

七个现象:不是下游挂了,是你一直在等

雪崩的现场通常很热闹:多个服务同时报警,数据库连接数飙升,网关超时率百分之百。但根因往往只有一个,其余都是被拖下水的。下面这些现象可以帮助区分「谁病了」和「谁被传染了」。

现象真实原因第一步查什么
只有支付慢,订单查询也不可用下单和查询共用同一个线程池,线程被等待占满查线程池活跃数、排队数和拒绝数
下游恢复了,上游还在报错积压的请求仍在超时队列里排队,恢复后继续涌出查入口请求速率与队列积压长度
重试之后下游更慢调用方无上限重试,把下游流量放大数倍查重试次数、退避策略和总请求量
熔断打开后,一部分用户看到报错页只有熔断没有降级,失败直接暴露给用户查降级分支是否覆盖这个依赖
熔断器频繁开合,流量忽高忽低失败率窗口太短,半开探测太急查统计窗口、最小请求数和半开探测数
一个慢依赖拖垮所有接口没有按依赖分组隔离,所有调用共享资源查线程池和连接池是否按下游拆分
超时设得比下游响应还长超时预算没有自上而下分配,层层放大查每一层的超时值和总预算

第一条和第六条是同一类问题,叫资源混用。第二条是恢复期的二次冲击,很多人忽略了它:下游刚恢复时最脆弱,而上游积压的请求会在这时候集中释放。第三条是重试放大,它能让一次小故障变成一次大故障。

第四、五条属于熔断本身的配置问题。熔断器不是装上就有效,阈值设错会出现「该断的时候不断,不该断的时候乱断」。第七条则说明超时这件事必须全局看,单看一层永远算不对。

雪崩的算术:并发等于速率乘延迟

雪崩不是玄学,它可以先用一个公式估算:同一时刻需要的并发处理能力,大约等于每秒请求数乘以每个请求的耗时。这条规律叫利特尔法则,用不着记名字,记住「速率乘延迟」就够了。

一次下游变慢如何传导到全站
下游变慢支付从 50ms 变成 3000ms
并发上升100 QPS 乘 3 秒,需要约 300 个并发
资源耗尽线程池只有 200,全部被等待占住
请求排队队列满后新请求直接被拒绝
扩散共用线程池的其他接口一起不可用

用开头那组数字算一遍:每秒 100 个下单请求,每个请求等支付 3 秒,需要的并发是 300。线程池 200,缺口 100。这 100 个缺口会变成排队,排队又让每个请求的端到端时间继续变长,需要的最小并发继续上升,形成正反馈。所以线程池打满之后,系统不是「慢一点」,而是迅速崩掉。

这也解释了一个常见误判:有人看到 CPU 不高、内存不高,就认为服务「没压力」。实际上线程都阻塞在等网络,CPU 当然不高。判断资源是否耗尽,要看线程池活跃数、等待队列长度、连接池占用,而不是只看 CPU。

反过来,降低雪崩风险有三个着力点:缩短单次等待,也就是超时;减少同时在等的请求,也就是隔离和限流;在确认下游不行时不再发请求,也就是熔断。三者缺一不可,只做其中一个,效果都有限。

舱壁隔离:把进水限制在一个舱里

「舱壁」这个词来自船体设计:船底被隔成多个水密舱,一个舱进水,船不会沉。软件里的舱壁是同一个意思,把资源按依赖或功能分组,一组耗尽不影响其他组。

线程池隔离。每个下游依赖一个独立线程池。支付慢,只占满支付池,查询用的池不受影响。代价是线程总数变多,上下文切换开销上升,而且每个池都要留余量,资源利用率下降。

信号量隔离。不换线程,只限制同时进行的调用数量,比如支付最多 50 个并发,超出的直接失败。开销比线程池小,适合调用本身很快、只是要防并发的场景。缺点是它不能把阻塞调用从当前线程里剥离出去,调用方线程仍然被占着。

连接池隔离。每个下游独立连接池。这一条经常被忽略,但很多「一个下游慢拖垮全部」的事故,根因是共用一个 HTTP 连接池。连接被慢下游占满,其他下游即使健康也拿不到连接。

部署隔离。把非核心功能拆到独立进程或独立集群,比如导出、报表、消息推送。它们出问题不占核心链路的资源。这是最彻底的一种,成本也最高。

熔断

看下游的健康状况。失败率超过阈值就主动切断,不再发请求,过一段时间再放少量探测。它保护的是调用方,也顺手保护了下游不被持续打。

限流

看自己的处理能力。按固定速率放行,超出就拒绝或排队。它不关心下游死活,只保证自己不被压垮。两者解决的不是同一个问题,不能互相替代。

隔离的粒度要按「故障相关性」来定,不是越细越好。同一个下游的所有调用放一个舱,不同下游分开;核心链路和非核心链路分开。拆得太细,每个舱都留余量,总资源会不够用;拆得太粗,等于没隔离。

熔断器是一台状态机

熔断器有三个状态,理解它们比记参数重要。

关闭正常放行所有请求,同时统计成功和失败。失败率达到阈值且样本足够,就转到打开。
打开不再调用下游,直接返回失败或走降级。持续一段冷却时间后,转到半开。
半开只放少量探测请求。探测成功就回到关闭,失败就重新打开,并重置冷却时间。
状态转移(伪代码)
关闭:
  记录每次调用结果
  若 窗口内请求数 >= 最小样本 且 失败率 >= 阈值:
    转到 打开,记录打开时刻
打开:
  直接失败,不发起真实调用
  若 当前时刻 - 打开时刻 >= 冷却时长:
    转到 半开,允许 N 个探测请求
半开:
  探测成功数达到阈值: 转到 关闭,清空统计
  任一探测失败: 回到 打开,重新计时

参数里最重要的是「最小样本数」。只按失败率判断,会被小样本骗:两个请求失败一个,失败率 50%,但总量只有两个,这时候熔断毫无意义。设一个最小请求数,比如 20 个,样本不够就不做判断。

「统计窗口」决定熔断器记忆有多长。窗口太短,偶发失败就会触发;窗口太长,下游已经持续故障了还不触发。十秒左右的滑动窗口比较常见,再配合最小样本数,能过滤掉大部分噪声。

「冷却时长」决定恢复速度。太短,下游还没缓过来就被再次打;太长,下游恢复了业务还在降级。三十秒是个常用起点,配合半开探测,既能控制冲击,又不会让降级持续太久。

半开阶段最关键。它只放少量请求,这些请求成功才说明下游真的恢复了。要注意探测请求本身要避开那些特别重、特别慢的接口,否则会把「恢复」误判成「还没恢复」。

一组实测:等待时间从一千八百秒降到十四秒

下面这组对照模拟同一个下游持续超时,分别在无熔断和有熔断两种配置下跑,统计快速失败数、累计等待时间和成功数。

无熔断: 快速失败 0 笔, 累计等待下游 1800s, 成功 300 笔
有熔断: 快速失败 897 笔, 累计等待下游 14s, 成功 296 笔
下游恢复后:无熔断的请求仍要排在前面的超时后面;有熔断的探测成功后自动闭合,新请求立刻放行。

先看第一行。没有熔断,所有请求都老老实实等下游,累计等待 1800 秒。这个数字的意思是:这些等待时间全部转化成了被占住的线程。按每个请求等 3 秒算,相当于 600 个请求各自把线程抱了三秒,资源就这么被消耗掉了,成功数只有 300。

第二行,熔断打开后,897 笔请求直接快速失败,累计等待只有 14 秒,成功 296 笔。成功数几乎没变少,但系统不再把线程耗在等待上,剩余资源可以处理别的请求。这就是熔断的核心收益:它不提高下游成功率,它保护调用方不被拖死。

第三行讲的是恢复期。无熔断时,下游恢复了,但前面还排着一堆已经超时或即将超时的请求,新请求要排在它们后面,用户感知到的恢复时间被拉长。有熔断时,半开探测一旦成功,熔断器闭合,新请求立刻走正常路径,恢复是「瞬间」的。

这里要澄清一个常见误解:快速失败不等于用户看到失败。那 897 笔快速失败,如果都有降级兜底,用户可能只是看到一个「支付稍后确认」的提示,而不是错误页。熔断把「等三秒然后失败」变成「立刻走降级」,体验反而更好。

熔断不能和无限重试一起用。熔断打开后如果客户端还在重试,等于绕过了熔断器继续打下游。重试必须放在熔断器之内,或者干脆关掉自动重试。

降级:失败之后返回什么

熔断只决定「不再调用」,降级决定「那返回什么」。没有降级的熔断,只是把慢失败换成了快失败,用户照样不能用。

默认值。返回一个安全的默认结果,比如推荐位为空、运费按标准计算、积分显示为「暂不可用」。适合那些「没有也能凑合」的功能。

读缓存。下游不可用时返回上一次缓存的结果,并标注数据可能过期。适合商品详情、配置、字典这类读多写少的数据。要注意缓存本身也可能失效,降级链路不能有无限层。

只读或排队。写操作降级成「先受理、后处理」,把请求放进本地队列或消息队列,告诉用户「稍后确认」。这条要求业务能接受延迟确认,而且要防重复提交。

功能关闭。直接隐藏入口,比如评论、晒单、个性化推荐。比返回错误页体面,但要有开关,恢复后能自动打开。

降级设计有三条硬要求。第一,降级路径要比正常路径简单,不能又依赖一堆下游。第二,降级结果要可识别,日志和响应里标出来,否则事后统计会把降级数据当成正常数据。第三,降级要演练,平时不跑,故障时第一次跑大概率是错的。

还有一层容易漏:降级是有损的。缓存可能过期,默认值可能不符合用户实际情况,排队可能最终失败。这些损失要在业务侧提前确认能接受,而不是技术侧单方面决定。

参数怎么定:从超时预算倒推

超时。先定入口总预算,再往下分配。一个下单请求允许 800 毫秒,网关自身 20 毫秒,订单服务编排 50 毫秒,剩下 700 毫秒分给下游。支付最多 300 毫秒,库存 200 毫秒,优惠券 150 毫秒。任何一层的超时都不能超过它拿到的预算。

重试。只对幂等操作重试,最多一次,并且要带退避。重试会让下游流量翻倍,所以重试预算要从总预算里扣。非幂等的写操作,比如创建订单、扣款,默认不自动重试。

舱壁大小。按「可接受的最大并发」算,不是按「平时用多少」算。用速率乘可接受延迟估算:支付 100 QPS、可接受等待 500 毫秒,需要约 50 个并发,池子设 60 左右留余量。设成 200 等于没隔离。

熔断阈值。失败率 50% 是常见起点,最小样本 20 个,统计窗口 10 秒,冷却 30 秒,半开探测 3 到 5 个。业务对失败更敏感就降低阈值,但不要低于 30%,否则正常波动也会触发。

降级开关。每个降级分支一个独立开关,能单独打开和关闭,不用发布。开关要有 owner 和复核时间,防止「临时打开」变成永久。

边界与代价

熔断会误杀。下游只是偶尔慢,失败率短暂超过阈值,熔断打开后本来能成功的请求也被拒绝。所以阈值不能太敏感,打开后要有半开探测尽快恢复。

隔离会降低资源利用率。每个舱都要留余量,总线程数和连接数比共享时多。系统规模小的时候,隔离带来的资源浪费可能比故障收益更明显。

降级会带来数据不一致。缓存过期、默认值、延迟确认,都会让用户看到和真实情况不同的结果。资损类业务要格外小心,宁可报错也不能返回错误的金额或库存。

熔断不是限流的替代品。限流防的是自己被打垮,熔断防的是被下游拖死。只做其中一个,另一种故障照样会发生。

别把熔断器配得太复杂。有的系统给每个方法都配一套阈值,最后没人说得清哪套在生效。按依赖配,一个下游一套,数量控制在能维护的范围内。

小系统可以先用超时加一次重试。三五个服务、调用关系简单,把超时设对、把重试关掉,就能避免大部分雪崩。熔断和舱壁等调用链变长、依赖变多之后再上,维护成本才划算。

当天可以自验的五件事

  1. 用速率乘延迟估算核心接口需要的并发,和实际线程池大小对比。缺口大于三成的,先扩池或加隔离。
  2. 检查下单和查询是否共用一个线程池。共用的话,先按依赖拆开,这是最便宜的一次隔离。
  3. 把支付下游的超时人为调长,观察订单服务的线程池活跃数是否被占满,以及其他接口是否一起变慢。
  4. 检查重试配置:是否只对幂等操作重试、最多几次、是否带退避。无限重试的,先关掉。
  5. 随便挑一个降级分支,在预发环境手动触发,看它返回什么、日志是否标记、用户提示是否合理。跑不通的就是故障当天的样子。

下一篇讲拆分之后的数据一致性。前面几篇解决的是「调用能不能通、慢在哪、挂了怎么办」,还剩一个更难的问题:一次操作要改两个服务的数据,其中一个成功了、另一个失败了,这笔账怎么收场。