机房 B 建成之后,团队决定「双活」,两个机房同时接流量,任何一个机房挂了另一个都能顶上。切流百分之十的那天下午,支付成功率从百分之九十九点二掉到百分之九十三。排查发现不是服务挂了,而是同一笔支付的几个步骤被分到了不同机房:下单在 A,扣款在 B,回调又回到 A,每一步都要跨机房走一次内网。
延迟变长之后,支付网关的超时重试被触发,同一笔支付被提交两次。库存服务在 A 机房扣了一次,B 机房的订单又扣了一次。用户看到的是「支付失败,请重试」,财务看到的是两笔扣款。
这就是多活的真实面目:它不是把一台机器变成两台,而是把一次请求拆到两条网络上,把一笔事务拆到两个数据副本上。可用性提升是真的,延迟、成本和一致性代价也是真的。这篇把三种形态、数据层难点、延迟预算和边界讲清楚。
先看多活最常见的几类现场
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 切流后接口 P99 翻几倍 | 调用链跨机房,每一步多一次网络往返 | 看链路追踪里跨机房的 span 占比与耗时 |
| 同一用户重复下单 | 跨机房延迟触发客户端或网关重试,写操作不幂等 | 查重试策略与订单幂等键是否覆盖跨机房场景 |
| 两个机房库存不一致 | 双写或双向同步存在延迟,扣减没有全局串行化 | 查库存写入归属单元与同步方向 |
| 切流后一部分用户登录态丢失 | 会话存储只在原机房,新机房读不到 | 查会话数据的复制方式与切流范围 |
| 回切时数据对不上 | 切流期间两个机房都产生写入,回切没有合并 | 查切流期间的双写记录与对账结果 |
| 机房级故障时流量切不过去 | DNS 或全局调度依赖故障机房,或 TTL 太长 | 查流量调度入口是否独立、TTL 是否可快速失效 |
| 多活之后发布更频繁地出问题 | 两个机房版本不一致,或数据迁移脚本只在一个机房执行 | 查发布流水线是否覆盖所有机房、版本是否对齐 |
这七条里,只有第一条是纯粹的延迟问题,其余都和「状态」有关:会话、库存、版本、写入归属。多活真正难的不是让两个机房都能收流量,而是让两个机房对同一份状态有一致的认知。
还要提醒一句:多活的收益是「概率性」的,它降低的是机房级故障的影响;成本却是「确定性」的,资源、带宽、人力每个月都要付。用确定性成本去对冲概率性损失,账要算得足够清楚,不能只凭「大厂都这么做」。
灾备、双活、多活,不是一回事
这三个词经常被混用,但它们的承诺完全不同。先把定义说清楚,再谈要不要做。
很多团队嘴上说「多活」,实际做的是「同城双活加一个异地冷备」。这没有错,错在对外承诺了异地多活的可用性,却没有对应的数据方案。故障真发生在异地时,切过去发现数据落后几小时,承诺就落空了。
三种形态的取舍
主备(冷备或热备)
实现最简单,数据只有一份主副本,不存在双写冲突。切换有中断,备机平时不接流量,资源利用率低。适合大多数中小系统,也适合作为多活的第一步。
双活或多活
资源利用率高,单机房故障时业务几乎无感。代价是数据要同步、写入要有归属、冲突要有策略、发布要跨机房对齐。只有在机房故障造成的损失明显大于这套复杂度时,才值得做。
判断该做到哪一层,可以用一个很朴素的问题:机房挂掉的那几个小时,业务损失有多大,能不能用更便宜的方式兜住。如果停机两小时的损失远小于多活的建设与维护成本,那主备加可靠备份就是更理性的选择。
同城双活也有边界。它解决的是单个机房断电、断网、空调故障,解决不了城市级灾害,也解决不了同城两个机房共用一条上联链路的情况。两个机房如果接的是同一个运营商、同一段光缆,故障域可能仍然是一个。做容灾要先画故障域,再决定机房数量,而不是按行政区划数机房。
数据层是多活真正的难点
计算层可以无状态地复制,加机器就行。数据层不行:同一份数据放在两个机房,要么同步,要么分片,要么接受冲突。三种选择对应三种代价。
同步复制。写入要等另一个机房确认,延迟直接叠加在用户请求上。同城还能接受,异地跨城往往几十毫秒,写多的业务会被拖垮。网络一抖,写入就失败或超时。
异步复制。写入只写本地,后台同步。延迟低,但机房故障时会丢最近一段写入,读也可能读到旧值。对金额、库存这类数据,丢一段就意味着资损。
单元化。按用户或地域把数据切成单元,每个单元只在自己的机房写,跨单元的操作尽量避免。它把「两个机房写同一份数据」变成「两个机房各写自己的一份」,冲突少了很多。代价是分片规则要极其稳定,跨单元查询和统计变复杂,扩容时迁移成本高。
大多数做得比较稳的多活系统,最后都会走到单元化,而不是「两个机房都写全量数据」。全量双写看起来简单,实际把冲突、锁和一致性问题留给了每一个业务字段。
单元化还要区分「单元内表」和「全局表」。用户、订单、库存通常按用户或商品归属到单元,属于单元内表;配置、字典、汇率这类所有单元都要用的数据,属于全局表。全局表如果也双写,冲突会非常频繁;如果只读一个主副本,它又成了新的跨机房依赖。很多单元化方案卡住,就是没把这两类表分开。
跨单元操作要尽量避免,但不可能完全消灭。比如转账、跨店下单、平台级统计,天然要碰多个单元。这类操作要么走一个明确的全局服务,要么拆成异步补偿。把它们留在普通业务代码里,每个开发都要处理分布式事务,出错率会非常高。
流量调度:用户到底该去哪个机房
多活的入口通常有三层:DNS 或全局调度、接入层负载均衡、应用内的单元路由。每一层都可能把用户送错地方。
DNS 层按地域解析,把用户送到最近机房。它的问题是缓存和 TTL:切流时旧解析可能还会存在几分钟到几十分钟。全局调度服务本身如果部署在一个机房,机房故障时它也挂了,流量就切不动。
接入层负责机房内的负载均衡和健康检查。它要能识别「本机房整体不可用」,而不是只识别单台机器。机房级故障时,接入层要能把流量整体拒掉或转发到另一个机房,而不是继续把请求发给已经断网的机器。
应用内的单元路由决定「这个用户的数据在哪个单元」。它必须和用户身份绑定,并且在一段时间内保持稳定。路由规则变更时,已经落在旧单元的数据要迁移或双读,不能直接切过去让用户看到空数据。
会话数据是切流时最容易漏的一块。用户登录态如果只存在原机房的本地缓存或单机房 Redis,切到新机房后所有人都会变成未登录。会话要么集中存储并跨机房同步,要么干脆做成无状态令牌,让任何机房都能校验。前者的同步延迟要接受,后者的密钥分发和吊销机制要设计好。
长连接也会让切流不干脆。客户端到服务端如果走长连接、连接池粘性或 HTTP/2 会话复用,改了 DNS 之后旧连接仍然指向原机房,直到连接自然断开或超时。真实切流的完成时间,往往由「最长的那条连接」决定,而不是由 DNS 的 TTL 决定。切流方案里要包含主动断开连接或让旧机房拒绝新请求的步骤。
延迟预算:先把账算清楚
多活最容易被低估的是延迟。它不是「加几毫秒」,而是「每一次跨机房交互都加几毫秒」,一次请求里可能有五六次。
| 环节 | 同城机房 | 异地机房 | 备注 |
|---|---|---|---|
| 内网往返 | 1 到 3ms | 10 到 40ms | 取决于距离和专线质量 |
| 一次跨机房调用 | 约 5ms | 约 30ms | 含序列化与排队 |
| 同步写等待对端确认 | 约 5ms | 约 30ms | 每次写都叠加 |
| 一次请求跨机房三次 | 约 15ms | 约 90ms | 实际链路常超过三次 |
| 超时重试一次 | 翻倍 | 翻倍 | 重试会放大延迟和重复写 |
这张表要和业务的超时设置对一下。如果网关超时是 100ms,异地多活下一次请求跨机房三次就已经接近上限,再加一次重试必然超时。超时之后客户端重试,又可能打到另一个机房,重复写的风险随之出现。
延迟预算要按 P99 算,不能按平均值。跨机房链路的平均值可能只有十几毫秒,P99 却可能到上百毫秒;一次请求里跨机房调用越多,尾部叠加越明显。压测和容量规划都要把跨机房链路单独统计,不能和同机房调用混在一起看平均。
切流与回切,比建设更难
多活建成之后,真正的考验是切流。切流不是把 DNS 改一改,而是要让用户、会话、数据一起搬过去。
切流前要确认三件事:目标机房的数据是否追平、会话是否能共享或迁移、写入归属是否已经切换。少一件,切过去就会出现登录态丢失、读到旧数据或双写冲突。
切流要分批。先切内部用户或小比例流量,观察错误率、延迟、数据一致性,再逐步放大。每一批都要有明确的回退条件,比如错误率超过阈值就停。一次性全量切流,出问题时连回退都来不及。
回切往往比切流更危险。切流期间如果两个机房都产生了写入,回切时就要合并两份数据。合并策略必须提前定义,不能等回切当天再想。很多多活事故不是发生在故障时,而是发生在故障恢复后的回切阶段。
切流演练要覆盖「故障机房还在,但网络不通」和「机房彻底断电」两种场景。前者可能还有一半机器在偷偷写入,后者则完全静默。两种场景下的数据状态不同,处理方式也不同。只演练断电,遇到网络分区就会手忙脚乱。
演练之后要有数据校验,不只是看服务是否恢复。抽一批用户,对比切流前后在两边机房查到的订单、余额、库存,确认没有丢失或重复。校验脚本本身要能重复执行,不能每次靠人工抽样。
边界与代价
多活不能消除所有故障。它能扛机房级故障,扛不住全局性故障:错误的发布、错误的配置、被删掉的共享数据、证书过期。这些故障会同时影响所有机房。真正的容灾要包括「全局变更的灰度与回滚」,不只是机房冗余。
成本不是线性的。两个机房意味着双份资源、双份带宽、双份运维,还要加上跨机房专线、数据同步、演练和人力。异地多活再加地域,成本还要往上走。省下来的停机损失能不能覆盖这些成本,要提前算。
复杂度会渗进业务代码。单元路由、幂等、冲突处理、跨单元查询,都会变成业务开发要理解的东西。如果团队没有相应的规范和工具,多活会把每个业务模块都变成分布式问题的现场。
先做好单机房。单机房的主备、健康检查、故障转移、数据备份都没做扎实,直接上多活,等于在漏水的船上加盖一层。机房内的高可用做不好,多活只会把问题复制两份。
别忽略共享的全局组件。证书、域名、配置中心、发布系统、监控告警,如果只部署在一个机房,多活的业务机房再稳,这些组件挂了也会全局受影响。做多活时要把所有「全局唯一」的东西列出来,逐个确认故障域和替代路径。
当天可以自验的五件事
- 把当前架构按灾备、同城双活、异地多活三个词重新标注一遍,确认对外承诺和实际能力一致。
- 抽出一次核心请求的链路,数一数跨机房调用有几次,按同城和异地两套延迟各算一次总延迟。
- 检查所有写接口的幂等键,确认跨机房重试时不会重复扣款、重复下单。
- 确认 DNS 或全局调度的 TTL 和切换方式;如果调度服务本身只在一个机房,标成新的单点。
- 写下切流和回切的条件、批次、回退阈值,找一次低峰期做小比例演练,记录数据差异。
下一篇讲容量与压测。多活把请求拆到了两条网络上,容量也要按「单机房能扛多少、跨机房能扛多少」分别算。压测如果只压单机房、只压单接口,得到的数字在多活场景里几乎没有参考价值。