一次大促结束,第二天上午盘点,仓库发现账上比实际多出二十件货。倒查当天的订单,一百单里有二十单的状态是「已支付、已发货」,但库存流水里没有对应的扣减记录。用户收到了货,系统却认为库存还在。运营第一反应是「消息丢了」,技术第一反应是「消息队列不可能丢消息」,两边又对不上。

查下去发现,订单服务写订单和发扣库存消息是两件独立的事:先写订单库,事务提交成功;再调用消息客户端发送。发送这一步在连接超时、进程重启、broker 短暂不可用时都可能失败,而失败之后没有任何人重试,因为订单已经「成功」了。这就是双写:一个业务动作写了两个系统,两个系统之间没有共同的事务边界。

这篇讲的就是这个坑。跨服务一致性没有一键解决的方案,只有一组各有代价的做法,选哪种取决于业务能接受多长的不一致、能接受多大的损失。

七个现象:不一致的样子比你想的多

跨服务的数据问题很少表现为「数据库报错」,它更多表现为「两边的账对不上」,而且往往过了一段时间才被发现。下面这些现象,排查时先做对账,比翻日志快。

现象真实原因第一步查什么
订单成功,库存没扣双写中第二个写失败,没有重试也没有补偿按订单号比对订单表与库存流水
库存扣了,订单没生成先扣库存后写订单,订单事务失败查两边的创建时间和同一个 traceId
同一个订单扣了两次库存消息重复投递,消费端没有幂等查消费端是否有唯一键或去重表
outbox 表持续堆积投递进程停了,或扫描速度跟不上写入查未发送行数、最老一行的创建时间
补偿任务把库存又加回去两次补偿没有幂等,重复执行造成反向错误查补偿记录的业务唯一键和状态机
对账任务每天跑不完全量比对数据量太大,没有增量位点查对账的扫描范围和上次完成时间
退款后库存回滚了两次同一事件被两个消费者各处理一次查事件订阅关系和消费组配置

第一条和第二条是双写的两种失败方向。第三条和第七条是重复消费,属于「至少一次」投递的必然结果。第四条是 outbox 方案自己的运维问题,方案没选错,是投递器没监控。第五条最隐蔽,补偿本来是为了修复,结果制造了新的错误。

这些现象有一个共同点:它们都不是「某一次调用失败」造成的,而是「失败之后没人管」造成的。跨服务一致性真正难的地方,不是让第一次成功,而是让失败有下文。

本地事务为什么救不了跨服务

单库事务好理解:一组写操作要么全成功,要么全回滚,数据库保证中间状态不被别人看到。这套能力叫 ACID,其中最关键的是原子性和隔离性。但它的边界是「一个数据库连接、一个数据库实例」。一旦两个写操作落在两个服务、两个库,数据库就管不到了。

订单库提交成功,库存库还没收到请求,这时候没有哪个数据库能「回滚订单」。订单服务能做的只有两件事:要么在失败后调一个补偿接口把订单取消,要么让库存最终追上。前者是补偿,后者是重试,两者都需要额外的工作,而且都不能保证瞬间一致。

有人会问,那用两阶段提交不就行了。两阶段提交(2PC)确实能提供跨库的原子性:协调者先让所有参与者「准备」,都准备好了再统一「提交」。问题是它的代价很大:准备阶段资源一直被锁着,协调者一挂全体卡住,网络抖动会让事务长时间悬挂,吞吐量随参与者数量下降。

在微服务场景里,参与者往往是不同团队、不同技术栈、甚至不同机房的服务,让它们一起参与一个全局事务,运维复杂度和故障面都会放大。所以 2PC 在核心交易系统里仍有使用,但在大多数互联网业务里不是默认选择。

结论可以先记住:跨服务没有「免费」的原子性。你要么付出性能和一致性窗口,要么付出补偿逻辑的复杂度。声称「既强一致又高性能」的方案,通常是把问题藏在了某个没被注意到的环节。

四种方案的取舍

常见做法可以分成四类,代价各不相同。

两阶段提交强一致,参与者一起准备再一起提交。代价是锁持有时间长、协调者单点、吞吐低,跨团队跨库时运维复杂。
TCC把业务拆成 Try 预留、Confirm 确认、Cancel 取消三段,每段都是本地事务。一致性好,但每个业务都要写三套接口,开发成本最高。
Saga把长事务拆成一串本地事务,每步失败就反向执行前面的补偿。实现相对简单,但中间状态对外可见,补偿也可能失败。
本地消息表业务写和消息记录在同一个本地事务里,再由独立投递器发送,配合消费端幂等达到最终一致。实现成本低,是不一致窗口换来的。

TCC 适合资金、库存这类「必须先预留再确认」的场景,因为预留阶段就把资源占住了,不会超卖。代价是每个参与方都要实现 Try、Confirm、Cancel 三个接口,而且要考虑空回滚、悬挂、重复确认这些边界情况。

Saga 适合流程长、参与者多、能接受中间状态的场景,比如出行订单里的机票、酒店、用车。它的难点在补偿:有些操作补偿不回去,比如已经发出去的短信、已经给用户看的通知。补偿设计需要产品一起参与,不是技术单方面能定的。

本地消息表,也就是常说的 outbox,是大多数业务场景里性价比最高的方案。它不追求强一致,只保证「业务落库成功,消息最终一定发出去」,中间的不一致窗口通常在秒级到分钟级。下面重点讲它。

outbox:把「发消息」写进本地事务

双写的问题在于「写库」和「发消息」是两个独立动作,中间没有共同的失败边界。outbox 的做法是把发消息这件事变成一次数据库写入:业务数据和一条「待发送消息」记录在同一个本地事务里提交,这样要么都成功,要么都失败。

-- 同一个本地事务内
BEGIN;
INSERT INTO orders (id, user_id, amount, status) VALUES (...);
INSERT INTO outbox (id, aggregate_id, event_type, payload, status, created_at)
VALUES ('evt-1001', 'order-1001', 'StockDeduct', '{...}', 'pending', NOW());
COMMIT;

-- 独立投递器轮询
SELECT * FROM outbox WHERE status = 'pending'
ORDER BY created_at LIMIT 100;
-- 发送成功后
UPDATE outbox SET status = 'sent', sent_at = NOW() WHERE id = 'evt-1001';

这样做的保证是:只要订单落库了,outbox 里就一定有对应的消息记录;投递器即使暂时挂了,记录还在,恢复后继续发。它不能保证「只发一次」,因为发送成功、标记成功之间也可能失败,消息会被重复投递。所以消费端必须幂等。

投递器是一个独立进程或独立线程,不能和业务请求绑在一起。它按时间顺序扫描待发送记录,发送成功后标记,失败则保留并退避重试。扫描要有索引,按状态加创建时间建一个联合索引,否则表一大就全表扫描。

outbox 表会一直增长,需要归档。已发送的记录保留几天用于排查,之后转到历史表或删除。删除要分批,别用一个大 DELETE 把库锁住。

还有一个细节:消息内容要存完整快照,不要只存一个 ID 让消费端回来查。因为消费端来查的时候,业务数据可能已经被改过了,查到的是新值,不是事件发生时的值。事件应该描述「发生了什么」,而不是「现在是什么」。

一组实测:双写丢消息,outbox 重复但可去重

下面这组对照跑了同样的 100 笔下单,一笔对应一次扣库存。

双写: 100 单中有 20 单的扣库存消息没发出去,订单状态正常但库存没动
outbox: 100 行全部发布, 重复投递 3 次, 消费端按 id 去重后实际扣减 100 次

第一行是双写的真实代价:100 单里 20 单消息没发出去,订单状态完全正常,库存一件没动。这 20% 不是极端值,它取决于发送失败的概率和有没有重试。没有重试时,任何一次网络抖动、进程重启、broker 切换都会留下一条永远补不上的账。

第二行是 outbox 的结果:100 行全部发布,一条没丢;代价是重复投递 3 次。这 3 次重复不是 bug,而是「至少一次」投递的正常现象。消费端按消息 id 去重,最终实际扣减 100 次,账对上了。

两行对比说明一个关键点:一致性方案不是要消灭重复,而是要把「可能丢」变成「可能重」,再让重复变得无害。丢是补不回来的,重是可以去重的。这个方向的转变,是最终一致方案能成立的基础。

去重怎么做,常见有三种。消费端维护一张去重表,用消息 id 或业务唯一键做主键,插入成功才处理;或者用业务状态机,比如订单状态从「待扣减」到「已扣减」只允许一次;或者用版本号做乐观锁,重复消息的版本号对不上就丢弃。三种都要保证「判重」和「业务处理」在同一个本地事务里,否则还是会出现「判了重但没处理完」的空档。

不要在消费端用「先查有没有处理过,再处理」这种两步操作,中间没有事务保护,并发下两个重复消息会同时查到「没处理过」。判重和业务写入必须在一个事务里完成。

补偿与对账:给失败留一条后路

再好的方案也会有漏网的。消息可能因为格式错误永远消费失败,投递器可能因为磁盘满停了两天,补偿可能自己出错。所以除了正向链路,还需要一条兜底的账。

正向补偿。发现该发生的事没发生,就补做一次。比如订单已支付但库存没扣,补一条扣减。正向补偿必须幂等,否则补两次就变成多扣。

逆向补偿。发现不该发生的事发生了,就撤销。比如库存扣了但订单创建失败,把库存加回去。逆向补偿的危险在于「撤销的前提可能已经变了」:库存加回去时,那批货可能已经被别的订单用掉了。

对账。定时比对两个系统的关键数据,找出差异。对账有全量和增量两种,全量准但慢,增量快但可能漏。常见做法是每天一次全量,加上每小时一次增量,增量按更新时间或自增 ID 的位点扫。

对账的任务不是「自动修一切」,而是「把差异摆出来」。自动修复只适合那些规则明确、幂等安全的场景;规则复杂、涉及资损的差异,应该进人工队列。把不该自动修的东西自动修了,往往制造更大的问题。

补偿和对账都要有记录。每一次补偿写一条补偿日志,包含触发原因、原始单据、补偿动作、执行结果。没有记录,出了第二次问题就没人能还原经过。补偿日志本身也要能防重,用业务唯一键约束。

参数怎么定:窗口、批量与重试

一致性问题的时间窗口。先和业务确认能接受多久。库存扣减通常要求秒级,积分、优惠券可以分钟级,报表可以小时级。窗口决定了投递器的扫描间隔和重试节奏。

投递扫描间隔。秒级场景用 100 毫秒到 1 秒扫一次,分钟级场景可以用 5 到 10 秒。扫描间隔越短,数据库压力越大,按待发送表的增长量来调。

批量大小。一次取 100 到 500 条。太小,吞吐上不去;太大,单次失败要重发很多,而且事务持有时间变长。

重试退避。失败后按 1 秒、2 秒、4 秒、8 秒递增,上限一分钟。连续失败超过阈值要告警,不能无限静默重试。有些错误重试多少次都没用,比如消息格式不合法,这类要进死信队列。

消息保留。outbox 已发送记录保留 3 到 7 天,消费端去重表保留时间要大于消息可能重复的窗口,通常 7 天足够。保留太短,晚到的重复消息会重新扣一次。

对账频率。资金类每小时增量加每日全量,库存类可以每小时一次。对账任务要有水位线,记录上次处理到哪个 ID 或哪个时间点,避免重复扫或漏扫。

边界与代价

最终一致不是「差不多就行」。它要求中间的不一致有明确上界,并且有机制保证一定收敛。没有对账、没有补偿、没有监控的「最终一致」,只是「可能永远不一致」。

资金类业务要非常克制。账户余额、支付记账这类场景,宁可牺牲吞吐也要保证强一致或准强一致。用 outbox 加最终一致做资金,必须配合日终对账和人工差错处理,不能只靠消息重试。

库存可以用「预扣加确认」。下单时先冻结库存,支付成功后确认扣减,超时未支付则释放。这套做法把一致性要求落在库存服务内部,跨服务只需要传递「冻结」和「确认」两个事件,比全链路强一致简单得多。

TCC 的成本常被低估。三个接口、空回滚、悬挂、幂等,每一项都要写测试。业务简单时上 TCC,开发成本可能超过收益。

2PC 不适合长事务。参与者越多、链路越长,锁持有时间越久,故障时悬挂的风险越大。它适合参与者少、执行快的场景,不适合跨多个团队的长流程。

小系统可以先做对账。如果业务量不大、不一致的影响可控,先把双写改成「写库加可靠重试」,再配一个每日对账,成本比引入完整分布式事务框架低得多。等业务真的需要秒级一致,再升级方案。

不要用「重试」假装解决了问题。重试只能处理瞬时失败,处理不了「消息根本没发出去」和「发出去但消费逻辑有 bug」。把重试当成一致性方案,是把问题推迟到对账那天。

当天可以自验的五件事

  1. 找出所有「先写库、再发消息」的代码路径,确认发消息失败时有没有落库记录或补偿。没有的,就是下一个二十单。
  2. 检查消费端是否幂等:能否用同一个消息 id 重复调用两次而结果不变。做不到的,先补去重表或状态机。
  3. 给对账任务加一个水位线,记录上次比对到的位置。没有水位线的全量对账,数据一大就跑不完。
  4. 人为让投递器停十分钟,观察 outbox 是否堆积、恢复后是否自动追平、有没有告警。
  5. 挑一笔跨服务操作,按时间线写出「成功路径」和「每一步失败后谁来补」。写不出补偿动作的那一步,就是当前最脆弱的地方。

这组七篇到这里收束。从「该不该拆」开始,经过地址、配置、入口、追踪、熔断,最后落到数据一致性,其实是一条线:拆分把一次进程内调用变成一次跨进程协作,而每一次协作都需要回答「对方不在了怎么办」。能把这七个问题逐个答清楚,微服务才算真的跑起来了;答不清楚,拆出来的只是七个互相等待的单体。