促销活动零点开抢,运营在群里喊「把推荐和评论先关掉」。技术负责人打开配置中心,把开关改成关闭,十分钟后监控显示推荐接口的请求量一点没降。再查发现,开关只对三个新扩容的实例生效,另外九个实例读的是本地缓存,要等重启才会变。同一时间数据库连接池已经打满,下单接口大面积超时,超时的请求又被客户端自动重试,实际打进来的流量比峰值还高了三成。
这就是大促最常见的翻车方式:不是没有预案,而是预案只写在文档里,没有变成一条能执行、能验证、能回滚的链路。降级听起来是「改一个配置」,实际要做四件事:判断该不该降、决定降什么、让所有实例真的执行、确认降完有效果。任何一环断了,降级都等于没做。
这篇先把峰值和容量算清楚,说明削峰、限流、降级各自解决哪一段;再讲功能怎么分级、开关怎么设计、关掉之后用户看到什么;最后讲恢复,这一步比降级更容易造成二次故障。文中的积压数字来自本机 Node 模型;Nginx、Redis、Kafka 已在本机部署,超时与积压有真实输出,调度与多机房未实测。
先认出现象:降级为什么经常失效
降级失效的表现很集中:开关改了没反应、功能关了但资源没释放、峰值过了错误率反而升高。下面这些现象能帮你判断问题出在哪一环。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 改了开关,流量曲线没有变化 | 开关只覆盖部分实例,或实例读本地缓存未刷新 | 查开关下发覆盖率、实例数与各实例的配置版本 |
| 功能已经关闭,数据库压力没降 | 被关的功能和核心接口共用连接池或线程池 | 查资源池是否按业务隔离,关掉的代码路径是否真的不执行 |
| 首页能开,下单按钮一直转圈 | 降级把核心链路的依赖一起关掉了 | 核对功能分级表,查核心接口依赖了哪些被关的服务 |
| 峰值过去两小时,队列还在积压 | 消费能力低于峰值期的生产速率,恢复后没人继续盯 | 算净积压速率,看消费速率是否回到正常水平 |
| 降级后用户看到空白页或报错弹窗 | 只关了功能,没有准备兜底内容 | 查接口返回结构与前端兜底逻辑 |
| 开关反复开启关闭,监控上锯齿状抖动 | 触发阈值太贴近正常波动,没有滞回区间 | 看触发次数、持续时长与阈值设置 |
| 限流一开,正常用户也被拒 | 限流键选错,按 IP 或全局计数,没有区分用户等级 | 查限流键、白名单与会员等级规则 |
| 配置中心自己挂了,降级也做不了 | 开关和业务服务在同一个故障域,或强依赖同一个中间件 | 查配置中心的部署位置与本地兜底配置 |
开关下发是「最终生效」,不是「立即生效」。如果实例还本地缓存了开关值,延迟会更长。所以大促前必须做一次「改开关,看流量」的演练,而不是开抢时才第一次用这个功能。
先算峰值和积压,再谈降级
降级不是凭感觉关功能,它要回答一个数:峰值比容量高多少,高出来的部分会堆多久。最朴素的模型是:每秒净积压等于峰值流量减去处理容量,乘上持续时间就是积压总量,再除以容量就是排空时间。
本机模型设了一个场景:峰值 5000 请求每秒,系统容量 2000 请求每秒,峰值持续 60 秒。三种应对方式的结果如下。
原峰值 积压 180000 条,排空 90 秒
关掉 40% 非核心 积压 60000 条,排空 30 秒
容量扩到 3000 积压 120000 条,排空 40 秒
这组数字说明两件事。第一,降级的杠杆很大:关掉四成非核心流量,积压直接降到三分之一,排空时间从 90 秒压到 30 秒。第二,扩容的杠杆没有想象中大:容量从 2000 提到 3000,只把排空时间从 90 秒降到 40 秒,因为峰值仍然高于容量。扩容是线性的,而降级是直接砍分子。
但模型有前提:假设容量恒定。真实系统里,压力越大容量越低,数据库连接争用、锁等待、垃圾回收都会让单请求变慢,实际积压会比模型更严重。所以算出来的数只能当量级参考,不能当承诺。
还要区分「可排队」和「不可排队」。下单、支付这类同步请求没法排队等太久,用户会走;发券、积分、短信、报表可以进队列延后处理。削峰只对后者有效,对前者只能限流加提示。把同步请求硬塞进队列再同步等待结果,等于把队列变成了一个更慢的调用,积压会直接变成超时。
削峰、限流、降级,各管一段
这三件事经常被混着说,其实它们处理的是不同位置的流量。分不清就会用错工具,比如用降级去做限流,结果该拒的没拒,白白损失了功能。
四者的关系可以这样记:限流决定「能不能进来」,削峰决定「什么时候处理」,降级决定「处理到什么程度」,熔断决定「还要不要继续试」。一套完整的大促预案通常四个都用,而不是只挑一个。
功能分级:哪些能关,哪些碰不得
降级最大的争议不是技术,而是「关哪个」。运营想关技术觉得重要的,技术想关运营觉得能赚钱的。避免吵架的办法是提前做一张分级表,按后果排,不按感觉排。
L0 不可降级
下单、支付、退款、登录。关掉直接产生资损或客诉,只能限流、排队、扩容,不能关。这类接口要有独立的资源池,不能被其它功能拖累。
L1 可简化
库存展示、优惠计算、运费估算。不能关,但可以降级成简化版,比如只算一种最优券、库存显示「充足」而不给精确数。
L2 可关闭
推荐、评论、积分明细、历史订单图表。关掉不影响交易,但要让用户看到替代内容,不能白屏。
L3 直接停
埋点、非关键推送、运营弹窗、A/B 实验。停掉几乎无感,是第一批该关的,也是最容易被忘掉要恢复的。
分级之后还要补两列:每一项的负责人是谁,兜底方案是什么。没有负责人的开关,出事时没人敢按;没有兜底方案的功能,关了就是白屏。这两列比分级本身更重要。
触发信号与开关设计
降级可以由人按,也可以自动触发。人工触发适合可预期的大促,自动触发适合突发流量和故障。两种都要有,但不能互相冲突:自动降级开启后,人工要能覆盖,且覆盖动作要留痕。
自动触发的指标不要只看 CPU。CPU 高不一定代表处理不过来,可能是短时突发;CPU 不高也可能已经排队。更可靠的组合是:接口 p99 耗时、错误率、队列积压增速、数据库连接池使用率、下游熔断状态。多个指标同时满足才触发,能显著减少误判。
阈值必须带滞回。比如 p99 超过 800 毫秒且持续 30 秒才开启降级,回落到 400 毫秒以下并持续 5 分钟才关闭。开和关用两个不同的阈值,中间留一段缓冲区,否则系统会在阈值附近反复开关,每次开关都带来一次流量冲击。
开关本身要满足四个条件:全实例覆盖、秒级到分钟级生效、可单实例灰度、可一键回滚。还要有审计:谁在什么时候改了什么,改前改后的值是什么。没有审计的开关,出事后无法还原「到底是谁关的」。
开关不能依赖被降级的对象。把「关闭推荐服务」的开关放在推荐服务自己的配置里,推荐服务挂了开关也读不到。开关的存储要独立、要轻量,实例本地还要有一份兜底配置,配置中心不可用时按兜底值运行。
灰度不只是「先放一个实例」。放量之后要看两类指标:技术指标(错误率、耗时)和业务指标(下单成功率、支付成功率、客单价)。只看技术指标,可能出现「接口都成功,但用户不下单了」这种降级过度的情形。
关掉之后,用户看到什么
降级最容易忽略的是「用户体验的兜底」。功能关了,接口不能返回 500,也不能让前端一直转圈。兜底通常有三种,按成本从低到高选。
不管选哪种,返回结构要和正常时一致。前端是按固定字段解析的,降级时少一个字段或换个类型,前端直接报错,等于制造了第二次故障。降级逻辑要在契约层面做,不是在每个页面写 if。
提示语要具体。写「系统繁忙,请稍后再试」等于什么都没说,用户只会反复刷新。写「当前排队人数较多,预计 1 分钟后恢复」至少给了预期,也减少了无效重试。
恢复比降级更难
大部分二次故障发生在恢复阶段,而不是降级阶段。降级时系统是「少做」,恢复时是「突然多做」,瞬间的压力可能比峰值还大。
恢复顺序原则上和降级相反:先恢复读、再恢复写;先恢复低成本功能、再恢复高成本功能;先恢复流量小的入口、再恢复主入口。每恢复一批,观察五到十分钟,确认 p99、错误率、队列积压都没有反弹,再恢复下一批。
恢复前要检查四件事:数据库连接池是否已经回落、缓存命中率是否正常、队列积压是否清空、下游健康检查是否全绿。任何一项不满足就再等,不要「反正流量已经下去了」就全开。
缓存预热是恢复阶段的关键动作。降级期间缓存可能已经过期或被打空,恢复瞬间所有请求一起回源,数据库会被打第二次。正确做法是先按热点 key 批量加载,确认命中率回到正常水平,再放开流量。
关键配置与写法
下面给三段最小实现:功能开关表、应用侧读取开关、队列消费限速。开关表与消费限速未实测;超时与故障转移用 Nginx 实跑过。
CREATE TABLE feature_flag (
flag_key VARCHAR(64) PRIMARY KEY,
enabled BOOLEAN NOT NULL DEFAULT TRUE,
fallback VARCHAR(32) NOT NULL DEFAULT 'static',
version BIGINT NOT NULL DEFAULT 0,
owner VARCHAR(64) NOT NULL,
updated_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP
);
开关表要有 owner 和 version。版本号用于实例拉取时判断是否有变化,也能在日志里还原「这个请求用的是哪一版开关」。
const flagCache = new Map();
async function isEnabled(key) {
const hit = flagCache.get(key);
if (hit && Date.now() - hit.at < 5000) return hit.value;
try {
const row = await db.query(
'SELECT enabled, version FROM feature_flag WHERE flag_key = $1', [key]
);
const value = row.rows[0] ? row.rows[0].enabled : true;
flagCache.set(key, { value, at: Date.now() });
return value;
} catch (e) {
return hit ? hit.value : true; // 读不到时按上次值或默认开
}
}
本地缓存五秒,是为了避免每个请求都查库,同时保证开关能在秒级生效。读不到时退回上次值或默认开,是「故障时保持现状」,不要默认关,否则配置库一挂,全站功能都被关掉。
# 队列消费限速(伪配置,未在本机实测)
consumer:
concurrency: 8 # 按下游连接池容量倒推,不是越大越好
max_in_flight: 32
rate_limit_per_sec: 600
on_backlog_high:
pause_non_critical_topics: true
消费并发要按下游能力倒推。数据库连接池只有 30 个,消费者开到 100 并发,只会让每个请求都排队等连接,处理更慢,积压更久。
怎么验证:命令与成功判据
下面的命令用于验证「开关是否真的生效、降级是否真的减负、恢复是否平稳」。前两条在本机实跑,后两条未实测。
# 1. 改开关后,直接看接口行为有没有变
curl -s http://app:8080/api/home | head -c 200
# 2. 确认开关值已下发(假设开关存在 Redis 里)
redis-cli hget feature:flag recommend.enabled
# 3. 降级前后对比核心接口耗时
hey -z 30s -c 50 http://app:8080/api/order/list
# 4. 观察队列积压是否下降
kafka-consumer-groups --bootstrap-server kafka:9092 \
--describe --group order-worker
# 5. 观察数据库连接池使用率
mysql -e "SHOW STATUS LIKE 'Threads_connected';"
# 本机实测输出(Nginx 1.28.0 / Kafka 4.1.2)
# 8085:后端处理 3s,proxy_read_timeout 2s
HTTP/1.1 504 Gateway Time-out time_total: 6.042
# 8084:杀掉一台后端,连续 10 次请求全部 200
# 组 g1 停消费后灌入 5000 条:LAG 3833 + 1172 = 5005
# 恢复消费并追平后:各分区 LAG 0
成功判据:开关改动后,接口返回在预期时间内发生变化,且所有实例一致;降级后目标接口的流量或耗时明显下降,而核心接口 p99 没有恶化;队列积压增速转负,排空时间符合模型量级;连接池使用率回落到容量的七成以下;恢复过程中没有出现第二次错误率尖峰。
本机可跑的是积压模型:把峰值、容量、关停比例换成自己业务的数,得到的排空时间就是量级参考。成功判据是能说出一句结论,比如「关掉 40% 非核心,排空从 90 秒降到 30 秒;只扩容不降级,仍要 40 秒」。这句结论比任何参数都更能说服人去做分级表。
边界与代价
降级是有损的。关掉推荐,转化率会掉;关掉评论,用户会觉得页面不完整。损失必须提前算清楚,并由业务方确认「这个损失可以接受」。
开关会腐化。上线时为了大促加的开关,活动结束没人删,一年后系统里有几十个开关,没人知道哪个还有用。每个开关都应该有 owner、有创建原因、有预期清理时间,定期清理和代码重构一样重要。
自动降级可能误判。指标抖动、监控采集延迟、下游短暂重启发都可能触发降级,而关掉功能是有成本的。对 L0 和 L1 的自动降级,建议只自动「简化」,不自动「关闭」,关闭留给人工确认。
降级保护不了所有故障。如果是 CDN 被打、DNS 被污染、机房网络抖动,应用层的降级开关起不到作用。预案要覆盖入口层和基础设施层,不能只写应用层。
如果每次大促都要靠降级才能撑住,说明容量长期不足。这是架构和采购问题,不是预案问题。
当天能自验的五个练习
一,用本机脚本改三组参数:峰值、容量、关停比例,算出排空时间。成功判据:能说出「关多少比例能把排空压到 60 秒内」,并解释为什么扩容不如降级快。
二,给自己负责的系统做一张功能分级表,四列:功能、级别、负责人、兜底方案。成功判据:每一项都有 owner,L0 项不超过五个,且没有「不知道关掉会怎样」的项。
三,在本地起一个最小服务,加一个开关,验证改配置后不重启就生效。成功判据:curl 返回内容变化,日志里能看到开关版本号,关掉开关后接口返回兜底内容而不是 500。
四,用压测工具把 p99 打到阈值之上,观察自动降级是否触发,再降流量观察是否恢复。成功判据:整个过程中开关只动作一次,没有在阈值附近反复抖动。
五,写一份恢复检查清单,至少包含连接池、缓存命中率、队列积压、下游健康、入口限流五项,并在演练中执行一遍。成功判据:五项都有数据支撑,且恢复后十分钟内没有第二次错误率尖峰。
和下一篇的关系
削峰和降级解决的是「峰值来了怎么办」。但如果系统本身就堆了太多组件,光是日常运维就撑不住,峰值还没来就已经出问题。下一篇讲小团队能维护的架构:组件越多,串联可用性越低,认知负担越重,哪些中间件可以合并,哪些必须拆开。
记住这一篇的结论:先算积压再谈降级;功能按后果分级,不按感觉分级;开关要能全量生效并留痕;恢复必须分批、有人看着。