一个单体应用跑在一台八核十六 G 的机器上,日活从几百涨到几万,CPU 长期在八成以上。团队的第一反应是加机器:把应用复制成四份,前面挂一个 Nginx。上线当天出了三类问题:用户反复被踢下线,因为会话存在单机内存里;每小时整点短信发了四遍,因为四个实例都在跑同一个定时任务;运营上传的活动图片只有一台实例能看到,另外三台返回 404。
这三类问题都不是「机器不够」,而是「应用还没准备好变成多份」。集群化不是加机器,而是把应用里所有「默认只有一份」的东西,逐个变成可共享、可重复、可替换的。顺序错了,加机器只会把单机时代隐藏的问题一次性放大。
这篇按顺序讲六步:无状态、多实例、缓存、读写分离、异步削峰、分片。每一步先讲能换来多少容量,再讲会引入什么风险,最后讲怎么验证和回滚。容量数字来自本机 Node 模型;Nginx、Redis、Kafka、MySQL 主从已真跑,步骤附真实输出;分片与多机房单机无法测。
先认出现象:加机器之后才开始坏
集群化引入的问题很集中:状态不同步、任务重复、文件不一致、请求打到一个坏实例。下面这些现象,很多在单机时根本不会出现。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 用户频繁被踢下线 | 会话存在单机内存,请求被负载均衡分到另一台 | 查会话存储位置与负载均衡是否粘滞 |
| 定时任务重复执行多次 | 每个实例都装了同一份调度,没有分布式锁 | 查任务触发日志里的实例 IP 与执行次数 |
| 上传的文件部分实例 404 | 文件写在本地磁盘,没有共享存储或对象存储 | 查上传路径是本地目录还是对象存储 |
| 本地缓存导致各实例数据不一致 | 缓存存在进程内,更新只对当前实例生效 | 查是否有进程内缓存及其失效机制 |
| 扩容后错误率反而上升 | 新实例未预热,连接池和缓存都是冷的 | 看新实例的连接数、缓存命中率与首批请求耗时 |
| 一台实例挂了,请求仍打到它 | 健康检查只看端口,没检查业务可用性 | 查健康检查路径与摘除时间 |
| 发布时一半新一半旧,接口报错 | 滚动发布期间新旧版本不兼容 | 查接口是否向前兼容、数据库变更是否分两步 |
| 加了只读副本,用户却读到旧数据 | 复制延迟,读请求被路由到副本 | 查复制延迟指标与读路由规则 |
这些现象的共同点是「单份假设」。单机时,内存、磁盘、时钟、任务都只有一份,天然一致;变成多份后,每一样都要重新设计。所以迁移的第一步不是买机器,是找出代码里所有「默认只有一份」的地方。
容量与风险:六步的账
本机模型给出一条典型的扩容路径,每一步的容量倍数和风险等级如下。风险是主观评分,一表示改动小、可回滚,八表示涉及数据搬迁、回滚困难。
单机 容量 1200 风险 1 基准 1.00 倍
加代理与 2 实例 容量 2200 风险 2 1.83 倍
加缓存 容量 5200 风险 3 4.33 倍
加读副本 容量 6800 风险 4 5.67 倍
加队列削峰 容量 9000 风险 5 7.50 倍
加分片 容量 15000 风险 8 12.50 倍
这组数字最值得看的是「性价比」:从单机到加缓存,容量翻了四倍多,风险只有三;而从读副本到分片,容量只从 5.67 倍提到 12.5 倍,风险却从四跳到八。分片是最后手段,不是第一步。
还要注意,容量不是线性叠加。两台实例不是单机的两倍,因为负载均衡、会话共享、缓存冷启动都有开销,模型给的是 1.83 倍。缓存能带来大幅提升,是因为它挡掉了大部分读请求,前提是命中率足够高、缓存本身不能是单点。
每一步都要问「这一步解决了哪个已量化的问题」。如果当前瓶颈是数据库读,加应用实例没用;如果瓶颈是写,加读副本没用。先测量,再选步,不要按顺序无脑执行。
第一步:让应用无状态
无状态的意思是:任何一个实例挂掉,请求换到另一个实例也能正常处理。要做到这一点,要清掉四类本地状态。
这一步没有容量收益,但它是后面所有步骤的前提。没做完就加实例,等于把隐藏的 bug 复制成多份。判断是否做完,可以用一个简单测试:随机停掉一台实例,观察是否有用户受影响、是否有任务漏跑、是否有文件打不开。
无状态还有一个容易漏的点:本地时间和随机数。多实例的时钟可能有毫秒级偏差,用本地时间做排序或幂等键会出问题,应该用数据库时间或统一的时间服务。随机数如果用于生成业务 ID,也要保证跨实例不冲突。
第二步:加反向代理与多实例
应用无状态之后,加实例才有意义。前面放一个反向代理,负责把请求分到各实例、做健康检查、摘除坏实例。实例数量从两个开始,不要一次加太多,先验证共享存储和会话方案真的可用。
健康检查不能只看端口通不通。端口通但数据库连不上、线程池满了,实例仍然是坏的。健康检查接口应该检查关键依赖,并区分「存活」和「就绪」:存活用于判断要不要重启,就绪用于判断要不要接流量。
负载均衡策略要和业务匹配。无状态且请求耗时均匀时轮询够用;有长请求和短请求混合时,最少连接数更稳。不要在会话没共享的情况下用轮询,那会让用户在两台机器之间反复登录。
滚动发布是这一步的配套能力。发布时先摘掉一台,升级,验证,再放回;逐台替换。前提是新旧版本接口兼容,数据库变更要拆成「先加字段、再写、再读、最后删旧字段」的多步,不能一次改完。
第三步:加缓存
缓存的收益最大,也最容易被误用。加之前先确认瓶颈是「重复读同一批数据」,而不是「写太多」或「单条查询太慢」。写多读少的场景,加缓存几乎没有收益,还会引入一致性负担。
缓存放在哪一层要明确:应用进程内、集中式 Redis、数据库自带缓存、CDN,各管一段。进程内最快但最难一致,集中式好管理但多一跳网络,CDN 适合静态资源。通常的组合是:静态资源走 CDN,热点数据走 Redis,极热且变化少的数据放进程内并设短过期。
缓存本身不能是单点。Redis 单实例挂掉,所有请求同时回源,数据库会被打穿,比没有缓存更糟。至少要有主从加自动切换,并且做过切换演练;切换期间要有回源限流,避免恢复瞬间的流量洪峰。
命中率是缓存是否有效的唯一硬指标。命中率低于七成,说明缓存键设计或过期时间有问题,此时扩容数据库可能比继续调缓存更直接。命中率要按业务分组看,整体命中率会被少数超热 key 拉高,掩盖长尾未命中的问题。
缓存失效策略要和业务一致。先写库再删缓存是默认做法,但删除失败要有重试和对账;对一致性要求高的数据,宁可不缓存,也不要用一套半成品的一致性方案。
第四步:读写分离
读请求远多于写请求时,加只读副本能把读压力分出去。但副本是异步复制的,存在复制延迟,读到的可能是旧数据。这一步的核心不是「加副本」,而是「哪些读可以接受旧数据」。
要区分三类读:展示类读可以走副本,比如商品列表、文章内容;判断类读必须走主库,比如库存是否足够、优惠券是否已使用;写后立即读必须走主库,或者用「写后一段时间内强制读主」的路由规则。
复制延迟要监控,并按秒级告警。延迟突然升高通常意味着主库写入压力大、网络抖动或副本负载高。延迟超过阈值时,读路由应该自动回主,宁可让主库压力大一点,也不能让用户读到错误的状态。
副本连接池要单独配置。副本多了,应用到每个副本都要建连接,总连接数会成倍增长,容易把数据库的连接数上限打满。按副本数量倒推连接池上限,不要沿用单库时的配置。
读写分离还会带来「读己之写」问题:用户刚保存的资料,刷新后看到旧值。解决办法有三种:写后短时间强制读主、前端用本地刚提交的值、关键页面直接读主。选哪种取决于业务对陈旧的容忍度。
第五步:异步削峰
前面的步骤解决「请求处理得快不快」,队列解决「请求来得太集中」。只有存在明显的峰值,且峰值期间的部分工作可以延后,队列才有价值。
先算净积压:峰值速率减去消费能力,乘上持续时间。如果峰值只比容量高一点、持续几秒,加队列的复杂度不值得;如果峰值是容量的三倍、持续几分钟,队列能把洪峰摊平,避免数据库被打挂。
队列引入的是新的失败模型:消息可能重复、可能乱序、可能积压。消费必须幂等,关键消息要有对账,积压要有告警和排空预案。没有这些,队列只是把「接口超时」换成了「消息丢了没人知道」。
队列的位置也要选对。放在「下单成功后发券」这类旁路动作上,风险最低;放在「下单请求本身」上,就要求用户等异步结果,体验和复杂度都会上升。同步链路能扛住时,不要为了架构好看把主流程异步化。
第六步:分片,最后才考虑
分片是把一份数据按某个键拆到多个库或多个表。它能突破单库的写入和存储上限,但代价最高:跨片查询、分布式事务、扩容搬迁、运维复杂度都会上一个台阶。
在分片之前,先把能做的都做掉:加索引、优化慢查询、归档历史数据、读写分离、冷热分离。很多「必须分片」的结论,在清理完历史数据和优化完索引后就不成立了。
真要分片,分片键的选择比算法更重要。选订单号,同一订单的读写都在一片,但按用户查询会跨片;选用户 ID,用户维度好用,但运营的全局统计会很难。没有一种键能满足所有查询,必须按主要访问路径选,并为次要路径准备冗余表或异步汇总。
扩容搬迁是分片最危险的动作。用取模分片,扩一片几乎全部数据都要搬;用一致性哈希,只搬一部分,但会出现热点。搬迁期间要双写、要校验、要能回滚,整个过程的复杂度远高于前面五步。
分片之后,跨片分页、跨片聚合、跨片事务都要重新设计。团队要有人能长期维护这套逻辑,否则分片会成为只有一个人懂的黑色盒子。
每一步的验证与回滚
迁移的每一步都要有「怎么知道成功了」和「出问题怎么退回去」。没有回滚方案的步骤,不应该在业务高峰执行。
| 步骤 | 成功判据 | 回滚方式 |
|---|---|---|
| 无状态 | 随机停一台实例,用户无感、任务不漏、文件可访问 | 回滚代码,会话与文件方案保留 |
| 多实例 | 实例数变化时,错误率与 p99 保持平稳 | 摘除新实例,回到单实例 |
| 加缓存 | 命中率达标,数据库 QPS 明显下降,缓存故障可降级 | 关闭缓存开关,直接回源 |
| 读写分离 | 副本延迟在阈值内,陈旧读比例可解释 | 读路由切回主库 |
| 异步削峰 | 峰值期积压可控,排空时间符合模型 | 暂停消费、生产者改同步或限流 |
| 分片 | 双写校验一致,跨片查询有替代方案 | 保留旧库只读,按分片键回迁 |
验证要在低峰做,且要有人盯着。回滚方案要提前演练一次,不能等出事时才第一次执行。尤其分片,回滚窗口很短,数据一旦双写不一致,回迁会非常麻烦。本机验证过:杀一台后端十次请求全成功;MySQL 从库复制状态 Yes、延迟零。
# 本机实际输出
# Nginx 1.28.0,三台 Node 后端,杀掉 9103:
连续 10 次请求全部 200
X-Upstream: 127.0.0.1:9103, 127.0.0.1:9101
# 10s fail_timeout 结束后重启 9103,轮询恢复为 3/3/3
# MySQL 8.0.12 主 3316 / 从 3317:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Seconds_Behind_Master: 0
边界与代价
不是所有系统都需要走到第六步。日活几千、数据量几 G 的系统,单机加备份就能跑很多年。过早集群化,会把简单的增删改查变成分布式问题,团队却没有相应的运维能力。
每一步都会留下长期成本。多实例要多一套发布和日志聚合,缓存要多一套一致性方案,读写分离要多一套路由和延迟监控,分片要多一套数据迁移和跨片查询。这些成本不会因为「当时只加了一台机器」而消失。
迁移顺序也不是绝对的。如果当前瓶颈明确是数据库写,先做归档和优化可能比加实例更有效;如果瓶颈是静态资源带宽,先上 CDN 比加应用实例更直接。顺序是默认路径,不是教条,前提是先测量。
最后,迁移的目标是「用更小的风险换更大的容量」,不是「把所有中间件都上一遍」。每加一步,都要能回答:它解决了哪个已量化的问题,它带来了什么新故障模式,出问题时怎么退回去。
当天能自验的五个练习
一,检查自己的应用里还有哪些本地状态:会话、文件、进程内缓存、定时任务。成功判据:四类都列出,并标出「多实例后会怎样」。
二,用本机模型算当前容量和下一步的容量倍数。成功判据:能说出下一步该加什么,以及为什么不是分片。
三,在测试环境起两个实例,随机停掉一个,观察请求是否自动转移。成功判据:错误请求数在可接受范围内,且没有用户被踢下线。
四,给缓存加一个开关,关掉后观察数据库 QPS 与接口耗时。成功判据:能给出「缓存故障时系统还能不能活」的明确结论。
五,写一份本系统的迁移顺序表,每步包含成功判据和回滚方式,并在低峰演练其中一步。成功判据:演练中真的执行了回滚,且恢复到演练前状态。
这一组的收束
六篇组合方案讲完,主线可以收成一句话:架构不是组件的集合,而是「请求怎么走、数据放在哪、压力怎么摊、故障怎么退」这四件事的组合。单机到集群的六步,本质上是在按风险从低到高,逐步把单份假设替换成可共享、可替换、可回滚的结构。
回到最初那个场景:四台机器上线当天出的三类问题,都不是容量问题,而是顺序问题。先把状态挪出去,再加实例;先测量瓶颈,再选下一步;每一步都留回滚。做到这三点,集群化才不会变成一次大规模的故障演练。
如果只记一个判断标准:每加一层,问它「解决哪个已量化的问题、带来什么新故障、怎么退回去」。三个问题答不上来,就先别加。