一笔支付回调进来,应用把订单状态从「待支付」改成「已支付」,写主库成功,接口返回 200。前端拿到成功响应,立刻刷新订单详情。详情接口走的是从库,读到的还是「待支付」。用户以为没付成功,又点了一次支付。第二次回调进来,订单已经是已支付,系统拒绝重复处理,但钱已经扣了两次。
开发查日志,写入确实成功了;DBA 查主库,数据也确实改了。两边都没错,错的是「写完立刻从从库读」这个组合。复制是异步的,从库天然可能落后,读到旧值不是 bug,是这套架构的默认行为。
这篇把复制的延迟来源、读到旧值的责任归属、以及几种兜底写法讲清楚。先记住一句话:写主读从不是「强一致」,它只是「最终一致」的一个便宜实现。
先看几种典型的「旧数据」现象
下面这些现象在不同系统里反复出现,根因往往不是同一条 SQL,而是读走错了地方。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 刚保存的资料,刷新后还是旧内容 | 保存走主库,刷新走从库,复制还没追上 | 对比主从的写入位点与延迟,确认这次读走了哪台 |
| 列表里少了一条刚创建的记录 | 从库的二级索引或查询缓存还没更新 | 在主库和从库各执行同一条查询,对比结果 |
| 只有一个用户反复看到旧值 | 会话被粘在同一个落后的从库上 | 查该会话的连接路由,是否一直命中同一从库 |
| 延迟指标很低,业务却读到旧值 | seconds_behind_master 只反映 SQL 线程,不反映事务可见性 | 用带时间戳的心跳表或 GTID 位点做真实延迟测量 |
| 大促期间旧值明显变多 | 批量更新、DDL、大事务让从库回放变慢 | 查从库回放线程状态、是否有大事务或锁等待 |
| 切换主从后旧值持续存在 | 应用连接池仍指向旧从库,或读路由配置没刷新 | 在客户端侧看实际连接地址 |
| 同一用户两次请求结果不一致 | 两次读被负载均衡分到不同从库,各自延迟不同 | 查读请求的路由策略与会话粘滞设置 |
这些现象里,最容易被误判的是第四条。监控面板显示「延迟 0.1 秒」,业务却读到几秒前的数据。延迟指标本身没错,错在它测量的东西和业务的感受不是一回事。
还要注意,读到旧值不一定都是复制延迟。应用层缓存、数据库查询缓存、只读事务的快照、搜索引擎的异步索引,都会让用户看到旧数据。排查时先确认「这次读打到哪台机器、这台机器的数据是什么版本」,再谈复制。把所有旧值都归给从库,容易修错地方。
复制到底在复制什么
主从复制通常分三步:主库把变更写进日志,从库拉取日志,从库回放日志。异步复制在第一步完成后就返回成功,不等从库回放;半同步复制至少等一个从库确认收到日志,但不保证已经回放;组复制或强同步则要求多数派确认,代价是写入延迟更高。
三种模式解决的不是同一个问题。异步解决性能,半同步解决丢日志,强同步解决一致性。很多团队以为「上了半同步就不会读到旧值」,这是把「日志到达」和「数据可见」混为一谈。日志到了从库,还要经过回放,回放完成之前,查询看到的仍是旧版本。
复制也不等于备份。从库上的数据是「另一份活数据」,误删、误更新、逻辑错误会同步过去;备份要的是可以回到某个时间点的独立副本。把从库当备份用,一旦主库执行了错误删除,从库很快也会删掉,两边一起完蛋。备份要单独存放,并且定期验证能不能恢复,这一点在讲容量和演练时还会再提。
延迟从哪来
延迟不是一个数字,而是好几段等待叠在一起。网络传输占一段,从库回放占一段,回放时等锁又占一段。排查时要分段看,不能只看一个总值。
网络。跨机房复制的往返延迟通常是几毫秒到几十毫秒,带宽打满时日志传输会排队。跨地域复制更明显,一条日志从写入到到达对端,可能已经过去几十毫秒。
回放。从库是单线程还是多线程回放,差别很大。单线程回放遇到大事务,会长时间卡在一条日志上;多线程回放按库或按表并行,能缓解,但遇到热点表仍然会排队。
大事务与 DDL。一次更新百万行,主库执行很久,日志也很大,从库回放同样很久。DDL 更糟,很多变更会阻塞回放线程,期间所有后续日志都积压。大促前跑批量任务,经常把从库延迟推到几分钟。
从库自身负载。从库也在接读流量,CPU、IO、连接数被读请求占满,回放线程抢不到资源。读越多,延迟越大;延迟越大,业务越容易读到旧值,形成恶性循环。
锁等待。从库回放时要拿行锁,如果有一条长查询或长事务占着锁,回放就停在那里。主库上很快就过去的操作,在从库上可能被一个报表查询卡住几十秒。
这些延迟还会叠加和放大。一次大促的批量更新让从库回放落后三分钟,读流量又因为用户刷新而上涨,从库 CPU 被读请求占满,回放更慢。原本只是几秒的延迟,在负载下变成几分钟。所以容量规划要把「回放」算进从库的资源预算,不能只按读 QPS 算。
读到旧值,责任在谁
先说结论:责任在「写完立刻读从库」这个调用路径,不在复制本身。复制提供的是最终一致,业务却按强一致来用,错配的是语义,不是组件。
很多团队的处理方式是「把延迟监控调出来,延迟高了就告警」。这只能发现问题,不能解决问题。用户不会因为你看了一眼监控就原谅重复支付。真正要做的,是在关键路径上给读请求一个明确的语义。
可以接受旧值的读
商品列表、推荐位、历史订单、报表。晚几百毫秒看到不影响决策,走从库最划算。这类读应该明确标注「允许旧值」,并且设置一个最大可接受延迟。
不能接受旧值的读
支付结果、库存余量、账户余额、刚提交表单的回显。必须走主库,或者走一个能保证追上本次写入的从库。这类读的数量通常不多,走主库的成本可以接受。
四种可落地的兜底写法
关键读走主库。最简单,也最可靠。把「刚写完就要读」的接口单独标记,强制路由到主库。注意是「刚写完」这个时间窗,不是永久。可以按用户会话、按订单维度,在写入后的一段时间内读主。
read-your-writes(读己之写)。写入成功后,把主库返回的位点或时间戳带回客户端,下一次读带上这个标记,路由层只选择已经追到这个位点的从库。这样既不全走主库,又能保证自己刚写的能被自己读到。
会话粘滞。同一个会话固定走同一台从库,避免两次读分到延迟不同的副本。它不能保证读到最新值,但能避免「刷新一次新、再刷一次旧」的诡异体验。粘滞要设置合理的过期时间,否则一台从库故障后,会话会被长期困住。
写入后延迟双删或主动失效缓存。如果读路径前面有缓存,问题会从「从库延迟」变成「缓存旧值」。写入后删缓存、再延迟删一次,能覆盖大部分并发读回填旧值的窗口。缓存和复制叠在一起时,两个延迟要一起算。
这四种写法不是互斥的,实际系统往往组合使用。关键读走主库兜住金额和库存;普通读走从库,配合会话粘滞;带位点的读走 read-your-writes;缓存层再加失效。组合的关键是给每类数据标注一致性要求,而不是在代码里临时判断「这个接口要不要走主」。
位点怎么传到读请求上,也有讲究。放在响应头里最简单,前端下一次请求带回来;放在会话服务里,路由层按用户读取;放在请求参数里,适合服务间调用。无论哪种,都要处理「位点丢失」的情况:丢失时退回主库,或者退回一个延迟足够小的从库,不能默认走任意从库。
# 本机 Node 24 模拟:异步复制延迟 300ms,写完 20ms 后回读
直接读从库: 20 次读, 读到旧值 19 次, 最大落后 3 条
写后 500ms 内读主库: 20 次读, 读到旧值 1 次
输出很直白:只要读发生在复制追上之前,就必然读到旧值。把「写后一段时间内读主」加上去,旧值从 19 次降到 1 次;剩下那 1 次是第一次读发生在首笔写入之前,属于初始化边界,不是策略失效。代价是这段时间的主库读压力变大,所以窗口要尽量短,按实际复制延迟的 P99 来定,而不是拍一个很大的值。
延迟监控:别只看一个数字
最常见的指标是主从位点差,很多数据库会直接给出「落后多少秒」。这个数字有几个坑:它可能只反映回放线程处理到哪条日志,不反映最新事务是否可见;主库没有写入时,它可能显示 0,但最后一次写入其实还没回放;时钟不同步时,按时间戳算出来的秒数也不准。
更可靠的做法是写一条带时间戳的心跳记录,主库定期更新,从库读到后计算「现在减去记录里的时间」。这个值直接反映「从库能看到多新的数据」,比位点差更贴近业务感受。另一个办法是用全局事务号,比较主库最新事务号和从库已回放事务号,差多少条就是真实积压。
监控还要分维度:整体延迟、单从库延迟、关键表的延迟。整体延迟低,不代表某张热点表的从库已经追上;单从库延迟高,可能只是那台机器磁盘慢。告警阈值要按业务能接受的旧值窗口来定,而不是按「看起来正常」来定。
还有一个常见误区:只看延迟的绝对值,不看延迟的持续时间。瞬间跳到 5 秒然后马上回落,和持续 500ms 十分钟,对业务的影响完全不同。前者可能只影响个别请求,后者会让一段时间内的所有读都变旧。告警应该同时看峰值和持续时间。
除了数据库指标,还要看业务侧的「旧值信号」。比如下单后立刻查询失败的比例、支付回调后状态不一致的对账差异、用户重复提交的次数。这些指标比数据库延迟更直接,因为它们衡量的是用户实际感受到的结果。数据库延迟高但业务没有旧值,说明读路由兜住了;数据库延迟低但业务旧值多,说明兜底逻辑有漏洞。
边界与代价
强一致不是免费的。让所有读都走主库,主库连接数和 CPU 会先撑不住;上强同步复制,写入延迟会明显上升,跨机房时更明显;要求多数派确认,少数派故障时写入会被拒绝。每一种一致性提升,都对应一个可用性或性能的让步。
半同步不等于不丢数据。它只保证日志到达至少一个从库,不保证那个从库能回放,也不保证主库崩溃时它一定被提升。真要降低丢数据风险,还要配合切换流程和数据校验。
延迟双删也有窗口。删除缓存和更新数据库之间的并发读,仍可能把旧值写回缓存。延迟双删能覆盖大部分情况,但不是严格一致。对金额、库存这类数据,最终还是要靠数据库约束或串行化处理。
不是所有业务都需要强一致。内容、推荐、统计类系统,读到几秒前的数据完全可接受。强行把所有读都做成强一致,成本高,收益低。按数据重要性分级,比一刀切更现实。
跨机房时,这些代价会被网络放大。同城机房往返延迟通常在一两毫秒,异地可能到十几甚至几十毫秒;强同步写要等这个往返,读从库也要等跨机房回放。跨机房做读写分离之前,先算清楚「一次写要等多久、一次读最多能旧多久」,再决定哪些业务放在同一个机房。
读从库也不是免费扩容。从库要同时承担回放和读流量,读越多,回放越慢。给从库加机器能缓解读压力,但复制链路和回放线程本身仍有上限。把读从库当成「无限扩展」的容量池,迟早会在高峰时被回放延迟反噬。
当天可以自验的五件事
- 列出所有「写完立刻读」的接口,逐个确认它们走主库还是从库;走从库的,标成高风险。
- 在主库执行一条更新,立刻在从库执行同一条查询,重复十次,记录多少次读到旧值。
- 检查延迟监控用的是位点差还是心跳时间;如果是位点差,补一条带时间戳的心跳记录。
- 给一个从库人为加 1 秒回放延迟,观察业务哪些页面出现旧值,验证你的读路由是否符合预期。
- 确认会话粘滞的过期时间;如果设置为永久,改成有界时间,并想清楚从库故障时会话怎么迁移。
下一篇讲脑裂。复制延迟还能靠读路由绕过去,脑裂则是两个节点都认为自己是主,各自接受写入,最后合并时必然有一部分数据要丢。那已经不是「读旧值」,而是「写坏了」。