促销活动零点开抢,运营在群里喊「把推荐和评论先关掉」。技术负责人打开配置中心,把开关改成关闭,十分钟后监控显示推荐接口的请求量一点没降。再查发现,开关只对三个新扩容的实例生效,另外九个实例读的是本地缓存,要等重启才会变。同一时间数据库连接池已经打满,下单接口大面积超时,超时的请求又被客户端自动重试,实际打进来的流量比峰值还高了三成。

这就是大促最常见的翻车方式:不是没有预案,而是预案只写在文档里,没有变成一条能执行、能验证、能回滚的链路。降级听起来是「改一个配置」,实际要做四件事:判断该不该降、决定降什么、让所有实例真的执行、确认降完有效果。任何一环断了,降级都等于没做。

这篇先把峰值和容量算清楚,说明削峰、限流、降级各自解决哪一段;再讲功能怎么分级、开关怎么设计、关掉之后用户看到什么;最后讲恢复,这一步比降级更容易造成二次故障。文中的积压数字来自本机 Node 模型;Nginx、Redis、Kafka 已在本机部署,超时与积压有真实输出,调度与多机房未实测。

先认出现象:降级为什么经常失效

降级失效的表现很集中:开关改了没反应、功能关了但资源没释放、峰值过了错误率反而升高。下面这些现象能帮你判断问题出在哪一环。

现象真实原因第一步查什么
改了开关,流量曲线没有变化开关只覆盖部分实例,或实例读本地缓存未刷新查开关下发覆盖率、实例数与各实例的配置版本
功能已经关闭,数据库压力没降被关的功能和核心接口共用连接池或线程池查资源池是否按业务隔离,关掉的代码路径是否真的不执行
首页能开,下单按钮一直转圈降级把核心链路的依赖一起关掉了核对功能分级表,查核心接口依赖了哪些被关的服务
峰值过去两小时,队列还在积压消费能力低于峰值期的生产速率,恢复后没人继续盯算净积压速率,看消费速率是否回到正常水平
降级后用户看到空白页或报错弹窗只关了功能,没有准备兜底内容查接口返回结构与前端兜底逻辑
开关反复开启关闭,监控上锯齿状抖动触发阈值太贴近正常波动,没有滞回区间看触发次数、持续时长与阈值设置
限流一开,正常用户也被拒限流键选错,按 IP 或全局计数,没有区分用户等级查限流键、白名单与会员等级规则
配置中心自己挂了,降级也做不了开关和业务服务在同一个故障域,或强依赖同一个中间件查配置中心的部署位置与本地兜底配置

开关下发是「最终生效」,不是「立即生效」。如果实例还本地缓存了开关值,延迟会更长。所以大促前必须做一次「改开关,看流量」的演练,而不是开抢时才第一次用这个功能。

先算峰值和积压,再谈降级

降级不是凭感觉关功能,它要回答一个数:峰值比容量高多少,高出来的部分会堆多久。最朴素的模型是:每秒净积压等于峰值流量减去处理容量,乘上持续时间就是积压总量,再除以容量就是排空时间。

本机模型设了一个场景:峰值 5000 请求每秒,系统容量 2000 请求每秒,峰值持续 60 秒。三种应对方式的结果如下。

原峰值           积压 180000 条,排空 90 秒
关掉 40% 非核心   积压 60000 条,排空 30 秒
容量扩到 3000     积压 120000 条,排空 40 秒

这组数字说明两件事。第一,降级的杠杆很大:关掉四成非核心流量,积压直接降到三分之一,排空时间从 90 秒压到 30 秒。第二,扩容的杠杆没有想象中大:容量从 2000 提到 3000,只把排空时间从 90 秒降到 40 秒,因为峰值仍然高于容量。扩容是线性的,而降级是直接砍分子。

但模型有前提:假设容量恒定。真实系统里,压力越大容量越低,数据库连接争用、锁等待、垃圾回收都会让单请求变慢,实际积压会比模型更严重。所以算出来的数只能当量级参考,不能当承诺。

还要区分「可排队」和「不可排队」。下单、支付这类同步请求没法排队等太久,用户会走;发券、积分、短信、报表可以进队列延后处理。削峰只对后者有效,对前者只能限流加提示。把同步请求硬塞进队列再同步等待结果,等于把队列变成了一个更慢的调用,积压会直接变成超时。

削峰、限流、降级,各管一段

这三件事经常被混着说,其实它们处理的是不同位置的流量。分不清就会用错工具,比如用降级去做限流,结果该拒的没拒,白白损失了功能。

削峰把请求先收进队列,延后处理,用时间换容量。用户要么异步等结果,要么先看到「已受理」。适合发券、通知、数据同步这类不要求立刻返回的写操作。
限流超过容量的请求直接拒绝或降速,保护下游不被打穿。它在入口处做,不关心请求内容,只关心速率。拒绝要给出明确提示和重试时间。
降级主动少做或做简化版本,把资源让给核心链路。它改变的是「做什么」,不是「收多少」。比如推荐换成固定商品,评论改成稍后展示。
熔断下游持续失败时快速失败,不再等超时。它是降级的一种自动形态,触发依据是失败率和耗时,不是流量大小。

四者的关系可以这样记:限流决定「能不能进来」,削峰决定「什么时候处理」,降级决定「处理到什么程度」,熔断决定「还要不要继续试」。一套完整的大促预案通常四个都用,而不是只挑一个。

限流的具体算法(令牌桶、漏桶、滑动窗口)属于接口层设计,后端方向那一组已经讲过,这里不再重复。这一篇关心的是「在大促组合里,什么时候该用哪一种手段」。

功能分级:哪些能关,哪些碰不得

降级最大的争议不是技术,而是「关哪个」。运营想关技术觉得重要的,技术想关运营觉得能赚钱的。避免吵架的办法是提前做一张分级表,按后果排,不按感觉排。

L0 不可降级

下单、支付、退款、登录。关掉直接产生资损或客诉,只能限流、排队、扩容,不能关。这类接口要有独立的资源池,不能被其它功能拖累。

L1 可简化

库存展示、优惠计算、运费估算。不能关,但可以降级成简化版,比如只算一种最优券、库存显示「充足」而不给精确数。

L2 可关闭

推荐、评论、积分明细、历史订单图表。关掉不影响交易,但要让用户看到替代内容,不能白屏。

L3 直接停

埋点、非关键推送、运营弹窗、A/B 实验。停掉几乎无感,是第一批该关的,也是最容易被忘掉要恢复的。

分级之后还要补两列:每一项的负责人是谁,兜底方案是什么。没有负责人的开关,出事时没人敢按;没有兜底方案的功能,关了就是白屏。这两列比分级本身更重要。

触发信号与开关设计

降级可以由人按,也可以自动触发。人工触发适合可预期的大促,自动触发适合突发流量和故障。两种都要有,但不能互相冲突:自动降级开启后,人工要能覆盖,且覆盖动作要留痕。

自动触发的指标不要只看 CPU。CPU 高不一定代表处理不过来,可能是短时突发;CPU 不高也可能已经排队。更可靠的组合是:接口 p99 耗时、错误率、队列积压增速、数据库连接池使用率、下游熔断状态。多个指标同时满足才触发,能显著减少误判。

阈值必须带滞回。比如 p99 超过 800 毫秒且持续 30 秒才开启降级,回落到 400 毫秒以下并持续 5 分钟才关闭。开和关用两个不同的阈值,中间留一段缓冲区,否则系统会在阈值附近反复开关,每次开关都带来一次流量冲击。

开关本身要满足四个条件:全实例覆盖、秒级到分钟级生效、可单实例灰度、可一键回滚。还要有审计:谁在什么时候改了什么,改前改后的值是什么。没有审计的开关,出事后无法还原「到底是谁关的」。

开关不能依赖被降级的对象。把「关闭推荐服务」的开关放在推荐服务自己的配置里,推荐服务挂了开关也读不到。开关的存储要独立、要轻量,实例本地还要有一份兜底配置,配置中心不可用时按兜底值运行。

灰度不只是「先放一个实例」。放量之后要看两类指标:技术指标(错误率、耗时)和业务指标(下单成功率、支付成功率、客单价)。只看技术指标,可能出现「接口都成功,但用户不下单了」这种降级过度的情形。

关掉之后,用户看到什么

降级最容易忽略的是「用户体验的兜底」。功能关了,接口不能返回 500,也不能让前端一直转圈。兜底通常有三种,按成本从低到高选。

静态文案直接返回一句说明,比如「当前参与人数较多,推荐稍后恢复」。成本最低,适合 L3 和部分 L2。
缓存快照返回上一次成功结果的缓存,允许旧一点。适合榜单、推荐、商品列表,要注意标注「数据可能有延迟」。
降级内容换成运营预设的固定内容,比如固定推荐位、默认排序。体验最好,但要提前准备好素材和配置。

不管选哪种,返回结构要和正常时一致。前端是按固定字段解析的,降级时少一个字段或换个类型,前端直接报错,等于制造了第二次故障。降级逻辑要在契约层面做,不是在每个页面写 if。

提示语要具体。写「系统繁忙,请稍后再试」等于什么都没说,用户只会反复刷新。写「当前排队人数较多,预计 1 分钟后恢复」至少给了预期,也减少了无效重试。

恢复比降级更难

大部分二次故障发生在恢复阶段,而不是降级阶段。降级时系统是「少做」,恢复时是「突然多做」,瞬间的压力可能比峰值还大。

恢复顺序原则上和降级相反:先恢复读、再恢复写;先恢复低成本功能、再恢复高成本功能;先恢复流量小的入口、再恢复主入口。每恢复一批,观察五到十分钟,确认 p99、错误率、队列积压都没有反弹,再恢复下一批。

恢复前要检查四件事:数据库连接池是否已经回落、缓存命中率是否正常、队列积压是否清空、下游健康检查是否全绿。任何一项不满足就再等,不要「反正流量已经下去了」就全开。

缓存预热是恢复阶段的关键动作。降级期间缓存可能已经过期或被打空,恢复瞬间所有请求一起回源,数据库会被打第二次。正确做法是先按热点 key 批量加载,确认命中率回到正常水平,再放开流量。

降级开关不要设「大促结束自动全量恢复」。自动恢复没有观察窗口,一次全开就可能把刚稳住的系统再打挂。恢复必须是有人看着的分批动作。

关键配置与写法

下面给三段最小实现:功能开关表、应用侧读取开关、队列消费限速。开关表与消费限速未实测;超时与故障转移用 Nginx 实跑过。

CREATE TABLE feature_flag (
  flag_key     VARCHAR(64) PRIMARY KEY,
  enabled      BOOLEAN NOT NULL DEFAULT TRUE,
  fallback     VARCHAR(32) NOT NULL DEFAULT 'static',
  version      BIGINT NOT NULL DEFAULT 0,
  owner        VARCHAR(64) NOT NULL,
  updated_at   TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP
);

开关表要有 owner 和 version。版本号用于实例拉取时判断是否有变化,也能在日志里还原「这个请求用的是哪一版开关」。

const flagCache = new Map();

async function isEnabled(key) {
  const hit = flagCache.get(key);
  if (hit && Date.now() - hit.at < 5000) return hit.value;

  try {
    const row = await db.query(
      'SELECT enabled, version FROM feature_flag WHERE flag_key = $1', [key]
    );
    const value = row.rows[0] ? row.rows[0].enabled : true;
    flagCache.set(key, { value, at: Date.now() });
    return value;
  } catch (e) {
    return hit ? hit.value : true;   // 读不到时按上次值或默认开
  }
}

本地缓存五秒,是为了避免每个请求都查库,同时保证开关能在秒级生效。读不到时退回上次值或默认开,是「故障时保持现状」,不要默认关,否则配置库一挂,全站功能都被关掉。

# 队列消费限速(伪配置,未在本机实测)
consumer:
  concurrency: 8          # 按下游连接池容量倒推,不是越大越好
  max_in_flight: 32
  rate_limit_per_sec: 600
  on_backlog_high:
    pause_non_critical_topics: true

消费并发要按下游能力倒推。数据库连接池只有 30 个,消费者开到 100 并发,只会让每个请求都排队等连接,处理更慢,积压更久。

怎么验证:命令与成功判据

下面的命令用于验证「开关是否真的生效、降级是否真的减负、恢复是否平稳」。前两条在本机实跑,后两条未实测。

# 1. 改开关后,直接看接口行为有没有变
curl -s http://app:8080/api/home | head -c 200

# 2. 确认开关值已下发(假设开关存在 Redis 里)
redis-cli hget feature:flag recommend.enabled

# 3. 降级前后对比核心接口耗时
hey -z 30s -c 50 http://app:8080/api/order/list

# 4. 观察队列积压是否下降
kafka-consumer-groups --bootstrap-server kafka:9092 \
  --describe --group order-worker

# 5. 观察数据库连接池使用率
mysql -e "SHOW STATUS LIKE 'Threads_connected';"
# 本机实测输出(Nginx 1.28.0 / Kafka 4.1.2)
# 8085:后端处理 3s,proxy_read_timeout 2s
HTTP/1.1 504 Gateway Time-out    time_total: 6.042
# 8084:杀掉一台后端,连续 10 次请求全部 200
# 组 g1 停消费后灌入 5000 条:LAG 3833 + 1172 = 5005
# 恢复消费并追平后:各分区 LAG 0

成功判据:开关改动后,接口返回在预期时间内发生变化,且所有实例一致;降级后目标接口的流量或耗时明显下降,而核心接口 p99 没有恶化;队列积压增速转负,排空时间符合模型量级;连接池使用率回落到容量的七成以下;恢复过程中没有出现第二次错误率尖峰。

本机可跑的是积压模型:把峰值、容量、关停比例换成自己业务的数,得到的排空时间就是量级参考。成功判据是能说出一句结论,比如「关掉 40% 非核心,排空从 90 秒降到 30 秒;只扩容不降级,仍要 40 秒」。这句结论比任何参数都更能说服人去做分级表。

边界与代价

降级是有损的。关掉推荐,转化率会掉;关掉评论,用户会觉得页面不完整。损失必须提前算清楚,并由业务方确认「这个损失可以接受」。

开关会腐化。上线时为了大促加的开关,活动结束没人删,一年后系统里有几十个开关,没人知道哪个还有用。每个开关都应该有 owner、有创建原因、有预期清理时间,定期清理和代码重构一样重要。

自动降级可能误判。指标抖动、监控采集延迟、下游短暂重启发都可能触发降级,而关掉功能是有成本的。对 L0 和 L1 的自动降级,建议只自动「简化」,不自动「关闭」,关闭留给人工确认。

降级保护不了所有故障。如果是 CDN 被打、DNS 被污染、机房网络抖动,应用层的降级开关起不到作用。预案要覆盖入口层和基础设施层,不能只写应用层。

如果每次大促都要靠降级才能撑住,说明容量长期不足。这是架构和采购问题,不是预案问题。

当天能自验的五个练习

一,用本机脚本改三组参数:峰值、容量、关停比例,算出排空时间。成功判据:能说出「关多少比例能把排空压到 60 秒内」,并解释为什么扩容不如降级快。

二,给自己负责的系统做一张功能分级表,四列:功能、级别、负责人、兜底方案。成功判据:每一项都有 owner,L0 项不超过五个,且没有「不知道关掉会怎样」的项。

三,在本地起一个最小服务,加一个开关,验证改配置后不重启就生效。成功判据:curl 返回内容变化,日志里能看到开关版本号,关掉开关后接口返回兜底内容而不是 500。

四,用压测工具把 p99 打到阈值之上,观察自动降级是否触发,再降流量观察是否恢复。成功判据:整个过程中开关只动作一次,没有在阈值附近反复抖动。

五,写一份恢复检查清单,至少包含连接池、缓存命中率、队列积压、下游健康、入口限流五项,并在演练中执行一遍。成功判据:五项都有数据支撑,且恢复后十分钟内没有第二次错误率尖峰。

和下一篇的关系

削峰和降级解决的是「峰值来了怎么办」。但如果系统本身就堆了太多组件,光是日常运维就撑不住,峰值还没来就已经出问题。下一篇讲小团队能维护的架构:组件越多,串联可用性越低,认知负担越重,哪些中间件可以合并,哪些必须拆开。

记住这一篇的结论:先算积压再谈降级;功能按后果分级,不按感觉分级;开关要能全量生效并留痕;恢复必须分批、有人看着。