一个后台系统在促销前做了两项优化:把图片和脚本交给 CDN,把读请求分到两个只读副本。压测显示吞吐涨了近三倍,团队很满意。上线后却收到两类投诉:运营改了商品价格,用户刷新还是旧价格;用户下单后跳到订单详情,偶尔显示「订单不存在」。第一类问题出在读写分离的复制延迟,第二类问题出在「刚写完就读」被路由到了还没同步的副本。
这两项优化的共同点是:它们都不是「让单次请求变快」,而是「把一部分工作挪到别处」。挪走的部分确实减轻了原来的组件,但挪到的地方会带来新的失败模式。如果不把这些新模式一起设计,优化就会变成新的故障源。
这篇先讲动静分离到底分的是什么,再讲读写分离的收益与复制延迟,最后给出配置与验证方法。复制延迟和陈旧读的数字来自本机 Node 模型;数据库主从已在本机真跑过(主 3316、从 3317),复制状态与延迟命令照录;CDN 部分仍无法实测。
先认出现象:优化之后的新问题
动静分离和读写分离各自会带来一组典型现象。先把它们认出来,比急着调参数有用。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 静态资源仍然走应用,CDN 命中率很低 | 资源 URL 没切到 CDN 域名,或缓存键被参数打散 | 看页面里资源的实际域名与响应头的缓存状态 |
| 分离后图片更新不生效 | CDN 和浏览器缓存了旧文件,文件名没版本化 | 看缓存时间和文件名是否带版本 |
| 读请求分到副本后读到旧数据 | 主从复制有延迟,读请求在写入后立刻落到副本 | 看复制延迟指标与读路由策略 |
| 下单后详情页偶尔查不到订单 | 写主库、读副本,副本还没追上 | 确认「写后读」是否强制走主库 |
| 读写分离后主库压力反而更大 | 写请求没减少,副本同步又占主库资源 | 看主库的写 QPS 与复制线程负载 |
| 报表查询把副本拖慢,影响线上读 | 重查询和普通读共用副本,没有隔离 | 看副本的慢查询与连接数 |
| 主从切换后应用连到旧主 | 连接地址写死,或切换后 DNS 缓存未刷新 | 看连接配置与切换流程 |
| 分离后静态资源 404 | 发布时只传了应用包,没同步资源到对象存储 | 看发布流水线是否包含资源上传步骤 |
动静分离分的是什么
「动」指每次请求都要经过业务计算、可能返回不同内容的部分;「静」指内容基本不变、可以被缓存的部分。图片、脚本、样式、字体、视频属于静态;接口返回的列表、详情、状态属于动态。
分离的目的不是「静态就一定快」,而是让两类请求走不同的路径:静态走 CDN 或对象存储,动态走应用和数据库。这样应用不用花带宽发文件,也不用为文件句柄和磁盘 IO 操心;CDN 也不用懂业务逻辑,只按 URL 缓存。
该分离的
体积大、变化少、可公开的资源:图片、视频、安装包、版本化的脚本和样式。它们适合长缓存、按版本换名、放对象存储加 CDN。
不该硬分离的
每次都要根据用户和权限计算的内容:订单列表、账户余额、个性化推荐。它们看起来像「数据」,但不能被公共缓存,分离后反而增加一致性风险。
算一笔简单的账:假设入口每秒一万个请求,其中百分之八十五是静态资源。不分离时,应用要处理一万 QPS,其中八千五百个只是读文件;分离后,应用只处理一千五百个动态请求,静态请求由 CDN 承担。应用需要的实例数、连接池、带宽都按一千五百算,而不是一万。
但静态请求并没有消失,只是换了地方。CDN 的带宽、对象存储的请求数、回源流量都要算成本。分离的收益是「应用变轻」,不是「总成本变低」。如果静态资源访问量很小,CDN 的固定成本和配置复杂度可能超过收益。
实现上有三种常见做法。第一种是把静态资源放到独立域名,应用只返回页面;第二种是用反向代理按路径分流,静态路径直接读本地或对象存储;第三种是把资源打进发布包,由 CDN 回源拉取。三种做法的耦合程度不同,越靠前,应用越干净,但发布流程要改得越多。
分离之后还要防止「回流」。有人为了图方便,又在应用里加了 `/static` 路由,或者把新资源放回本地,过一段时间应用又开始发文件。要有检查手段,比如统计应用日志里静态路径的请求量,涨起来就告警。
读写分离的账:读压力挪走了,延迟也来了
读写分离是把写请求发到主库,把读请求分到副本。主库负责写入和复制,副本负责读。它适合读多写少、能容忍秒级陈旧的场景。
本机模型:一百万次读请求,九成走副本;副本的复制延迟大部分在十毫秒内,百分之五的情况在二十到一百毫秒。结果是十二万三千三百七十九次读到旧数据,占副本读的 13.71%;其中写后一秒内就读的陈旧请求有一万五千零五十七次。
读请求 1000000,走副本 899812
陈旧读 123379(13.71%)
写后 1 秒内读的陈旧数 15057
这个比例看起来高,是因为模型假设「读请求随机分布在写后六十秒内」,且副本有百分之五的长延迟。真实系统的比例取决于写入频率、读的时间分布和复制健康度。但结论是确定的:只要读走副本,就一定有概率读到旧值;写入后越快读,概率越高。
解法不是「把延迟调没」,而是按场景路由。写后立刻要读自己的数据,比如下单后跳详情、修改资料后回显,这类请求强制走主库,或者带上「至少读到某个版本」的条件。普通浏览、列表、搜索可以走副本,接受短暂陈旧。
还有一种做法是「读主库直到副本追上」。写入时记录一个版本号或时间戳,读副本前先确认它已经同步到该版本,没同步就等一小会儿或转主库。这个做法能保证读己之写,代价是多一次检查,且在高写入时会把更多读推回主库。
路由策略通常有三种:按方法标注、按接口分组、按请求上下文判断。按方法标注最直观,但容易漏;按接口分组能批量管理,但粒度粗;按上下文判断最灵活,比如「同一会话内刚写过就短暂走主库」,但实现复杂。小团队先用前两种,等真的遇到问题再上第三种。
复制延迟从哪来
复制不是「写完立刻出现在副本」。主库要把变更写进日志,副本要拉取日志、应用变更,中间还有网络传输。任何一个环节慢,延迟就上升。
常见原因有四类。第一,主库写入太猛,日志产生速度超过副本应用速度,副本一直追不上。第二,副本上有重查询,占用了应用日志的线程或 CPU。第三,网络带宽不足或抖动,日志传输变慢。第四,大事务或大批量更新,一次变更太大,副本应用耗时长。
延迟的监控不能只看「秒数」,还要看趋势。平时稳定在一秒内,突然涨到三十秒,说明有问题;平时就在三十秒左右,说明容量已经不够。告警要按「持续超过阈值」而不是「瞬时超过」,否则大促时的正常波动会一直响。
副本不是越多越好。每个副本都要拉日志、占带宽、占主库的复制连接。副本太多,主库的复制开销会上升,写入反而变慢。按读量和容灾需求配副本数,不要为了「看起来高可用」堆一堆。
延迟还和「改什么」有关。更新一行小记录,复制很快;批量更新十万行、建大索引、改表结构,复制可能要几分钟甚至更久。大变更要放在低峰期,并提前通知依赖读副本的业务「这段时间读到的可能是旧数据」。
什么时候不该分离
读量不大、单库还能撑、团队没有主从运维经验时,读写分离的收益有限。它带来复制延迟、切换流程、读路由规则,这些都是长期维护成本。
业务对一致性要求很高,比如库存扣减、余额判断、订单状态机,读不能接受陈旧时,不要轻易把读分到副本。可以把「强一致读」保留在主库,只把统计、报表、列表这类读分出去。
静态资源很少、体积很小、访问量不大时,动静分离的收益也有限。用应用直接返回几张图标,比配置 CDN、对象存储、缓存规则简单得多。
没有版本化文件名时,不要给静态资源设长缓存。否则每次更新都要手动刷新 CDN,漏一次就会让用户看到旧版本,排查起来还很费劲。
在考虑分离之前,先看单库还有没有优化空间:慢查询有没有索引、连接池是否合理、有没有不必要的全表扫描。很多时候,加一个索引比加一个副本便宜得多。分离是容量手段,不是性能手段;单次查询慢,分离解决不了。
关键配置样例
下面配置按常见反向代理与数据源的语义书写。静态缓存头在本机 Nginx 验证过;读路由注解属于应用代码,未实测。
# 静态资源走对象存储或 CDN 域名,应用不再处理(CDN 未实测)
location ~* \.(jpg|png|css|js|woff2)$ {
return 301 https://cdn.example.com$request_uri;
}
# 静态资源长缓存加版本化文件名(缓存头本机 Nginx 验证)
location /static/ {
add_header Cache-Control "public, max-age=31536000, immutable";
}
# 应用侧读路由:写后读走主库,普通读走副本(未实测)
@PrimaryOnly
public Order getOrderAfterWrite(long id) { ... }
@ReadOnly
public List<Order> listOrders(long userId) { ... }
静态资源的重定向要用 301 还是 302,要看是否需要回退。301 会被浏览器长期缓存,改回来麻烦;302 每次都会问原地址,灵活但多一次请求。版本化文件名加长缓存时,通常直接返回内容而不是重定向。
读路由最好在代码层显式标注,而不是靠「方法名里带 get 就走副本」这种约定。约定会被新人打破,出错时又很难发现。注解或包装方法能让「这段读是强一致还是可陈旧」变成可审查的代码。
主从切换后,应用要能感知新的主库地址。把地址写死在配置文件里,切换时就要改配置重启;用域名或配置中心,切换后能自动生效。两种方式都要有演练,不能只在故障时第一次用。
副本的连接池也要单独配。多个副本之间要能分配读流量,某个副本延迟高或故障时能自动降权。不要把副本地址硬编码成一个列表,否则每次加减副本都要改代码。
怎么验证:命令与成功判据
下面命令用于确认「静态真的没走应用、读真的分到了副本、延迟是否可接受」。复制状态与延迟在本机实跑,输出照录;CDN 与压测部分未实测。
# 1. 看静态资源实际由谁返回
curl -sI https://shop.example.com/static/app.js | grep -Ei 'server|age|cache-control'
# 2. 看应用的静态请求是否归零
grep '\.js\|\.css\|\.png' /var/log/nginx/access.log | wc -l
# 3. 看主从复制延迟
mysql -e "SHOW REPLICA STATUS\G" | grep -E 'Running|Seconds_Behind'
# 4. 写一条记录后立刻读副本,确认是否读到
mysql -h replica -e "SELECT status FROM orders WHERE id = 1001;"
# 5. 压测读接口,观察主库与副本的 QPS 比例
wrk -t4 -c100 -d30s http://app:8080/api/orders/list
# 本机实际输出(MySQL 8.0.12,主 3316 / 从 3317,GTID 模式)
mysql> SHOW SLAVE STATUS\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Seconds_Behind_Master: 0
# 主库插入两行后,从库立刻能查到:
mysql -P 3316 -e "INSERT INTO orders ..."
mysql -P 3317 -e "SELECT COUNT(*) FROM orders;"
2
# 给从库加 5 秒延迟:CHANGE MASTER TO MASTER_DELAY=5
mysql -P 3317 -e "SELECT COUNT(*) FROM orders WHERE sku='monitor-arm';"
0 # 插入后立刻查,读不到
# 8 秒后再查
1
# 精确测量:从插入到从库可见耗时 6.13s
Retrieved_Gtid_Set: 05724c40-...:3-4
Executed_Gtid_Set: 05724c40-...:1-2 # 只执行到 2,3 还没到
延迟不是零才叫正常:本机不加延迟时 Seconds_Behind_Master 为 0,加上五秒延迟后立刻读从库读不到,六点一三秒后才可见,这就是陈旧读窗口的来源。文章前面那个 13.71% 的陈旧读比例是模型算的,这里给的是组件上真实看到的延迟。
成功判据:静态资源的响应来自 CDN 或对象存储,应用访问日志里没有大量静态请求;复制状态为正常,延迟稳定在可接受范围;写后读的请求能读到最新值;压测时主库只承担写和强一致读,副本承担大部分普通读;主从切换演练能在预期时间内完成。
还要验证「失败场景」:手动停掉一个副本,观察读请求是否自动切到其它副本或主库,错误率是否可控。只验证正常路径,等于没验证读写分离。
边界与代价
动静分离后,发布流程要改。资源要先上传到对象存储或 CDN,再发布应用;漏一步就会出现「代码更新了、样式还是旧的」。流水线要把这一步固化,不能靠人记。
读写分离后,数据库的容量规划变复杂。主库要承担写加复制,副本要承担读加日志应用。任何一侧不够,都会表现为另一侧的问题。扩容时要分别看主库和副本的瓶颈,不能一刀切。
一致性责任转移到了应用。哪些读可以陈旧、哪些必须最新,要在代码里写清楚。写不清楚,就会出现「有的页面旧、有的页面新」,用户觉得系统坏了。
成本也会变。副本要机器、要存储、要备份;CDN 按流量计费;版本化文件会保留多份历史。优化带来的账单,要提前算进去。
切换演练要定期做。主从切换、CDN 回源故障、副本全部不可用,这三种场景至少各演练一次。演练时要记录「从故障发生到恢复」的时间,以及期间用户看到什么。没有演练的预案,等于没有预案。
当天能自验的五个练习
一,打开一个真实网站的开发者工具,看静态资源和接口分别走了哪些域名。成功判据:能指出哪些资源命中了 CDN,哪些请求到了应用。
二,算一次动静分离的账:给定总 QPS 和静态占比,算出应用需要承载的 QPS,再对比分离前的实例数。成功判据:能说出「省下的资源」和「新增的 CDN 成本」。
三,用本机模型复现陈旧读比例:给定读比例、复制延迟分布、写后读的时间分布,统计陈旧读占比。成功判据:结果与 13.71% 同一量级,并能解释哪个参数影响最大。
四,给一个读接口加「写后读走主库」的开关,压测两种模式下的主库 QPS。成功判据:能说出强一致读把多少压力推回主库。
五,写一份读路由清单:哪些接口可以走副本、哪些必须走主库、依据是什么。成功判据:每个读接口都有明确归属,没有「默认走副本」。
最后把两项优化的「新代价」各写一条:动静分离后发布流程多了哪一步,读写分离后哪些读可能变旧。能写出来,说明这次优化不是跟风,而是真的想过。
和下一篇的关系
动静分离把文件挪走,读写分离把读挪走,但缓存和数据库之间的「先更新谁」还没解决。下一篇讲缓存与数据库的配合:先写库还是先删缓存、双写不一致怎么收、延迟双删到底有没有用,并用本机模型给出不同顺序下的不一致次数。
记住这一篇的结论:这两项优化都不是「免费加速」,而是「换一个地方承担代价」。先想清楚新代价由谁负责,再决定要不要做。
下一篇会接着处理「同一份数据存在两个地方」的问题:缓存里一份、数据库里一份。只要有两份,就有时序问题;时序错了,就会读到旧值,甚至把旧值永久写回缓存。