一次购物车上线,发布方案写得很谨慎:先灰度 5%,观察半小时,没问题再全量。上线十分钟后客服反馈,有用户购物车里的商品一会儿有一会儿没有,刷新两次结果不同。排查发现,灰度是在网关上按请求随机分流:同一个用户第一次请求落到新版本,第二次落到旧版本,两个版本对购物车的缓存结构不一样,互相覆盖。
灰度比例没错,观察时间也够,错的是分流键。按请求随机,同一用户就会在新旧两版之间来回跳;正确的做法是按用户 ID 哈希,让同一个人始终落在同一版本。这个细节不写进方案,上线就会踩。
这篇讲三件事:怎么发、怎么退、怎么练。核心目标只有一个:出事时能在几分钟内退回上一个已知可用的状态,而不是现场 debug。
发布阶段常见的翻车
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 同一用户新旧两版混用 | 按请求随机分流,没有会话粘性 | 查分流键是用户 ID、会话还是随机数 |
| 灰度 5%,实际流量却是 30% | 分流规则命中了热点用户或热点接口 | 按用户、接口、地域分别统计灰度流量占比 |
| 回滚后问题还在 | 只回滚了镜像,配置、缓存或数据库没回 | 列出本次发布改动的所有部分,逐项核对 |
| 回滚需要二十分钟 | 镜像 Tag 被覆盖,或回滚脚本没人维护 | 查上一版镜像是否还在、回滚命令是否演练过 |
| 数据库迁移无法回退 | 直接改名、删列、改类型,没有兼容期 | 看迁移是否遵循「先加后删」的两阶段 |
| 新版本读旧缓存报错 | 缓存结构变了,但键没有版本前缀 | 查缓存键是否带 schema 版本 |
| 演练时一切正常,真故障时手忙脚乱 | 演练只验证了「能切」,没验证「切完怎么查、怎么退」 | 看演练是否包含判断、沟通和回退全流程 |
这些问题的共同点是:发布被当成「把新镜像换上去」,而实际上一次发布同时改了代码、配置、缓存结构、数据库 schema、依赖版本。回滚必须覆盖全部,而不只是容器镜像。
三种发布方式,代价不同
滚动发布
逐个替换旧实例,资源占用小,编排系统默认支持。缺点是发布期间新旧版本并存,接口必须兼容;回滚也是滚动的,不是瞬间完成。
蓝绿发布
两套完整环境,切流量是一次性动作,回滚就是把流量切回去,速度最快。缺点是资源翻倍,数据库和缓存仍然共享,schema 变更照样要兼容。
金丝雀发布
先放少量真实流量到新版本,按指标逐步放大。它最适合发现「只有真实流量才暴露」的问题,但需要可靠的分流、观测和自动回退。
选哪种取决于「回滚速度」和「资源成本」哪个更重要。核心交易链路、回滚窗口要求分钟级,蓝绿或金丝雀更合适;内部服务、资源紧张,滚动发布加接口兼容就够。三者不是互斥的,很多团队是「金丝雀验证,蓝绿切换,滚动回收」的组合。
发布批次也要控制。一次发布里塞进十个需求,出问题时根本分不清是哪一个引起的,回滚也意味着十个需求一起下线。小批量、高频次,比攒一个月发一次大版本更容易定位和回退。如果业务要求一次上多个功能,至少用功能开关把它们分开,出问题时只关掉有问题的那一个。
无论哪种,镜像 Tag 必须不可变。不要用 latest,也不要用会被覆盖的 prod。每次发布用版本号或提交哈希,上一版镜像保留可追溯,回滚才有东西可退。
分流键:按人,不按请求
灰度的第一原则是「同一个主体始终落在同一版本」。主体可以是用户、租户、设备或会话,取决于业务。购物车、订单、个人设置按用户;企业后台按租户;匿名流量按设备 ID 或 Cookie。
分流算法通常是对主体 ID 做哈希,取模一万,小于灰度千分比就进新版本。这样比例稳定、可复现,扩缩容时同一用户也不会跳版本。下面是我在本机跑的结果:十万用户、每人二十次请求、目标灰度 5%。
目标灰度 5%:命中用户 5019(5.02%),请求量 5.02%
按请求随机:64199 个用户同时用到新旧两版(64.20%)
按用户哈希:0 个用户混用两版
扩到 20% 时,原 5% 用户保留 5019/5019(100.00%)
按请求随机的比例也是 5%,但有 64.2% 的用户在二十次请求里至少碰到一次新版本,也就是大多数用户体验到了「一半新一半旧」。按用户哈希则一个都没有。扩到 20% 时,原来的 5% 用户全部保留,因为他们本来就在前 20% 的区间里,不会出现「先灰度后又被踢出去」的情况。
如果业务必须保证同一会话内一致,还要加会话粘性。负载均衡把同一会话固定到同一实例;但实例可能被扩缩容或故障替换,粘性会失效。所以根本方案还是让接口和缓存对新旧版本兼容,不能只依赖粘性。
哈希的种子要固定。有的框架默认每次启动随机生成哈希种子,同一个用户在不同实例上会算出不同的桶,灰度比例看起来对,实际分流却在漂移。种子应该写进配置并长期不变,需要改变分流比例时,只改阈值,不改种子。这样从 5% 扩到 20% 时,原来的灰度用户仍然留在灰度里,不会出现「刚验证过的用户又被切回旧版」。
晋级和回滚,都要有明确阈值
灰度不是「观察半小时感觉没问题」,要提前写清楚看哪些指标、达到什么条件晋级、达到什么条件回滚。阈值分三层。
| 层级 | 看什么 | 回滚示例 |
|---|---|---|
| 技术指标 | 错误率、P99、超时率、5xx 比例、线程池与连接池 | 错误率超过基线两倍,或 P99 超过上一版 50% |
| 业务指标 | 下单成功率、支付成功率、转化率、投诉量 | 支付成功率下降超过 1 个百分点 |
| 数据指标 | 消息积压、对账差异、重复写入、缓存命中率 | 对账差异笔数明显高于日常波动 |
阈值要跟基线比,不要跟绝对值比。不同业务正常错误率差别很大,写死 5% 可能永远触发不了,也可能天天误报。发布前先记录上一版同时段的基线,灰度期间和基线对比。
观察窗口要覆盖业务周期。支付类业务看十分钟可能不够,因为退款、对账是延迟发生的;定时任务类要至少跨过一个执行周期。窗口太短,问题还没暴露就全量了。
样本量也要够。5% 流量下,如果接口本身 QPS 很低,十分钟可能只有几十个请求,一两个失败就能让错误率看起来翻倍。这时候要么延长观察时间,要么先提高灰度比例到能统计的样本量。低流量接口的灰度判断,不能照搬高流量接口的阈值,否则要么误回滚,要么什么都没看出来就全量。
地域和客户端版本也要分层看。新版本在某个地区、某个机型上出问题,整体指标可能被其他健康流量稀释。灰度期间至少按地域和客户端类型拆开看错误率,发现局部异常就停在那一步,不要等整体指标变红。
回滚要自动化,但保留人工确认。自动回滚适合明确的硬指标,比如错误率连续三分钟超过阈值;涉及业务判断的,比如「转化率略降但不确定是不是活动影响」,应该由值班人决定。自动回滚也要限速,避免刚回滚又自动晋级,来回抖动。
回滚:镜像只是其中一项
一次发布可能改动五样东西:应用镜像、配置、数据库 schema、缓存结构、依赖服务版本。回滚清单要逐项覆盖。
应用镜像。保留上一版的不可变 Tag,回滚命令要能一条执行。不要依赖「重新构建上一版」,构建环境变了可能构建不出来。
配置。配置要有版本,和镜像版本一起记录。只回镜像不回配置,会出现「旧代码读新配置」;只回配置不回镜像,可能读到旧代码不认识的字段。最好让配置变更也走发布流程。
数据库。迁移必须向前兼容,分两阶段做。第一阶段加新列、加新表、双写,旧代码仍能跑;第二阶段等新代码稳定后再删旧列。不要在同一个发布里既改代码又删列,那等于把回滚路堵死。
-- 第一阶段:扩展,可回滚
ALTER TABLE orders ADD COLUMN channel VARCHAR(32);
UPDATE orders SET channel = 'web' WHERE channel IS NULL;
-- 第二阶段:新代码稳定运行一段时间后,再收缩
-- ALTER TABLE orders DROP COLUMN legacy_channel;
缓存。缓存键加 schema 版本,比如 cart:v2:<user_id>。新旧版本各读各的键,不会互相覆盖;回滚后旧键还在,命中率不会归零。共享缓存不做版本隔离,是灰度期间数据错乱的常见原因。
依赖版本。如果本次升级了某个下游客户端或协议,回滚时确认下游仍支持旧版本。上下游同时升级时,要约定一个兼容窗口,不能两边一起切。
把这些写成一张回滚检查表,贴在发布单里。回滚执行时逐项打勾,而不是凭记忆。真正的「三分钟回滚」,靠的是清单和演练,不是手速。
功能开关是最轻的回滚手段。把高风险功能放在开关后面,出问题先关开关,代码还在,但用户不再走那条路径。它比回滚镜像快,也比回滚数据库安全。但开关要有生命周期:验证完就删,不能长期留着几十个半开半关的开关,否则测试矩阵会指数级增长,没人知道线上到底是哪套组合。
故障演练:练判断,不只练操作
演练最容易流于形式的地方,是只验证「按钮能点」。真正的故障现场,难点在判断:现在该不该回滚、回滚哪一层、要不要先摘流量、怎么通知客服。演练要把这些环节都走一遍。
演练类型从低风险到高风险:先在预发环境注入依赖超时,再在生产低峰期摘掉一个实例,最后才考虑数据库主从切换。每一步都要有明确的爆炸半径和终止条件,不能一上来就在核心链路制造故障。
一次完整的演练至少包含:故障注入、监控发现、值班判断、执行回滚、验证恢复、对外沟通、复盘改进。只做前两步,等于练习了「制造问题」,没练习「解决问题」。
演练前要准备:谁有权拍板回滚、回滚命令在哪、上一版镜像是什么、数据库迁移是否可逆、客服话术是什么。任何一项答不上来,就先补文档,不要开练。
演练后要有记录:从发现到决定用了多久、从决定到执行用了多久、从执行到恢复用了多久、卡在哪一步、谁负责。记录不是为了追责,而是为了找出「哪一步需要人猜」。凡是需要猜的环节,都应该改成清单、脚本或自动检查。下一次演练拿同一张表对比,才能看出到底有没有变快。
演练频率不用很高,但要固定。核心链路每季度一次,回滚动作每月一次,新成员入职时跟一次。长期不练,脚本会过期、权限会变更、新人不知道找谁,真出事时清单还在,执行的人已经换了。
一套可落地的骨架
用 Kubernetes 做金丝雀,可以用两个 Deployment 加一个按用户哈希分流的入口,也可以直接用支持权重的 Ingress。下面只示意权重配置,实际 CRD 依集群而定,未在本机实测。
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: order-api
annotations:
nginx.ingress.kubernetes.io/canary: "true"
nginx.ingress.kubernetes.io/canary-weight: "5"
spec:
rules:
- host: api.example.com
http:
paths:
- path: /v1/orders
pathType: Prefix
backend:
service:
name: order-api-canary
port: { number: 8080 }
权重分流仍然是按请求,不是按用户。要按用户,得在网关或应用入口自己做哈希,或者用支持 header/cookie 分流的网关。方案里要明确写「分流键是什么」,不能只写「灰度 5%」。
发布单模板建议包含这些字段:版本号与镜像 digest、上一版镜像、改动清单(代码、配置、schema、缓存、依赖)、分流键、灰度比例与观察窗口、晋级阈值、回滚阈值、回滚命令、负责人、客户沟通口径。缺一项就不允许发布。
deploy/
release/
release.yaml 版本、镜像、改动清单
rollback.sh 按清单逐项回退
checks/
smoke.sh 发布后冒烟
verify.sh 指标与业务校验
drill/
canary-rollback.md 回滚演练步骤与计时表
验证方法:在预发环境发布一个新版本,故意让它在 5% 流量下返回错误;确认监控在阈值内报警;执行回滚脚本;确认流量全部回到旧版本、错误率恢复到基线;记录从「决定回滚」到「恢复」的耗时。这个耗时就是你真实的上限,不是写在方案里的目标值。
边界与代价
蓝绿最贵。两套环境意味着双倍资源,数据库和缓存还未必能双份。它适合核心链路和预算充足的团队,不适合所有服务都照搬。
金丝雀需要可靠的观测。没有分接口、分版本的指标,灰度比例再细也看不出问题。观测不到位时,金丝雀只是把全量故障拆成几次小故障。
数据库迁移是回滚的硬约束。代码可以秒回,数据改坏了很难回。所有 schema 变更都应该假设「回滚一定会发生」,先加后删、双写、可重放,是必须遵守的纪律。
演练有成本,也有风险。生产演练可能真的造成故障,必须限定爆炸半径、选择低峰期、准备终止条件,并提前通知相关方。没有这些前提,演练就是拿线上做实验。
过度设计的信号:一个内部工具、几个用户,却要求蓝绿、金丝雀、自动回滚、每月演练全套。先保证镜像可追溯、配置可回退、发布单写清楚,收益比堆流程更大。
当天可以自验的五件事
- 检查你现在的灰度分流键是什么;如果是随机数或按请求比例,改成按用户或租户哈希。
- 找出上一版镜像的 Tag 和 digest,确认它没有被覆盖;如果没有,先把不可变 Tag 定下来。
- 把最近一次发布改动列成清单,逐项问「这一项怎么回滚」;答不上来的就是缺口。
- 在预发环境做一次回滚计时,从决定回滚到流量恢复,记录实际耗时和卡住的步骤。
- 检查数据库迁移是否遵循「先加后删」;如果最近一次迁移删了列或改了类型,回滚方案必须重新评估。
这一组八篇走到这里,讲的其实是一件事:服务上线不是把代码跑起来,而是把接口、鉴权、流量、异步、定时、观测、部署、发布这八条链路都变成可预期、可回退的状态。每条链路都有自己的代价,选之前先算清楚规模,比事后补更省事。