先说一个不太体面的结局。一个 SaaS 订单系统,MySQL 单表 3200 万行,慢查询每天二十来条,团队里有人提议换 MongoDB:「文档模型贴合订单,写入也快,顺便把技术栈升一升。」方案评审了两次就通过了,开发两个月,迁移一个月,上线。
三个月后,同一批人开会,议题是「怎么搬回 MySQL」。三件事顶不住:下单要同时写订单、扣库存、写流水,放到一个跨集合事务里,P99 从 30ms 涨到 120ms,大促时还有 0.3% 的事务冲突失败;运营要的「按类目统计订单」原来一条 SQL,现在三层 $lookup 跑四十分钟;出了慢查询,团队没人会看 Mongo 的执行计划,一个漏建索引的查询把 CPU 打满了两小时。
更难受的是迁移本身丢过一批数据。双写阶段为了不拖慢主流程,新库写失败只打了一条日志,没有补偿任务;切读前的校验只比了行数,没比字段;金额在旧库里是 DECIMAL,迁过去有的写成了字符串,报表里一千二百多笔订单显示金额为 0。回滚时老库还缺了切换后三天的退款单,补数脚本漏了一种单据类型。
最后他们没有全盘退回:订单回 MySQL,商品详情留在 MongoDB。这个结局比「换」或「不换」都更真实——按访问模式拆开看,一部分适合,一部分不适合。这篇讲的就是怎么在事前把这件事判断清楚,以及万一要换,怎么换才不会丢数据。
说明:本文出现的 SQL、mongosh 命令和输出都是按官方语法整理的示例,未在本机实测;迁移耗时、差异率、成本数字是按常见规模估算的,不是线上报表。
那次迁移到底错在哪
错不在「选了 MongoDB」,而在选型时只比较了单条读写的速度,没有列出三件事:哪些操作必须原子、哪些查询需要关联、出故障时谁来排。
事务边界没算清。下单落三张表本来是一个本地事务,MySQL 里一条 BEGIN 就解决了。换库之后,跨文档事务虽然支持,但协调开销大,冲突要重试,延迟变成原来的四倍。这类「三个写必须一起成功」的操作,在选型表里应该单独列一行,而不是笼统写「支持事务」。
报表没人认领。业务方的报表需求不会因为技术栈换了就消失。原方案里写着「报表后续接大数据平台」,实际上大数据平台排期在半年后,运营只能继续用业务库跑聚合。文档库没有 JOIN,硬做就是 $lookup 套 $lookup,数据量一大就超时。
运维能力没评估。MySQL 慢查询有几十篇中文文章可查,Mongo 的 oplog 窗口、分片均衡、索引选择,团队里没人碰过。那次节点停机六小时,oplog 只保留四小时,恢复时只能全量重新同步,又花了六小时。这不是 Mongo 的缺陷,是团队没有为这套系统准备对应的运维能力。
迁移被当成一次性动作。双写、校验、切读、切写、回滚,每一步都需要独立的监控和验证,方案里只写了「平滑迁移,随时可回滚」,没有写回滚时新库那部分数据怎么办。真出事时,回滚不是按一个开关,而是要补三天数据。
选型要算的七笔账
选型不是给数据库打分,而是把你的业务约束一条条对上。下面七个维度,前三个决定「能不能换」,后四个决定「换了之后养不养得起」。
剩下三笔账是查询灵活性、迁移成本和生态。查询灵活性指的是产品临时提的「按三个维度交叉统计」能不能当天给出;迁移成本包括双写期的双倍写入、两套监控、两套备份、校验脚本和至少一个月的并行期;生态指的是驱动、ORM、BI 工具、数据同步组件是否齐全。这七项里只要有两项明显变差,收益就必须大到能覆盖它们。
还有一个前置原则:先有瓶颈,再换。瓶颈要能量化:P99 从多少降到多少、写入从多少提到多少、成本从多少降到多少。写不出这三个数字,所谓「换」只是换了个技术栈,问题会以另一种形式回来。
决策顺序:先怀疑查询,再怀疑存储
很多「必须换库」的结论,在第二步就被推翻了。建议按下面的顺序走,每一步都有明确的出口。
第一步,定位瓶颈。慢在 CPU、IO、锁、网络,还是慢在查询写法?把慢日志按「扫描行数 / 返回行数」排个序,通常能发现前十条里八条是索引问题。
第二步,先榨干现有库。加索引、改写 SQL、拆大事务、加缓存、读写分离、归档冷数据、分区表,这些手段的成本远低于换一套存储,而且大多数团队已经会。做完这些,瓶颈还在,才进入第三步。
第三步,列硬约束。把「必须跨表原子」「必须 JOIN 出报表」「必须按任意维度即席查询」逐条写下来,对照候选存储,看哪条会被破坏。破坏的那条如果无法用业务妥协解决,就直接排除。
第四步,小范围试点。选一个读多写少、失败影响可控的边缘业务,真实跑两周,量延迟、错误率、运维工单。试点不是做 Demo,要带上监控、告警、备份和回滚。
第五步,才决定。到这一步还决定换,才是「有依据地换」,而不是「据说它更快」。
一次完整的迁移走查:六步,每步都能退
假设试点通过,决定把订单查询迁到新库。规模:3200 万行,日均新增 8 万,峰值读 4000 QPS、写 600 QPS。先把七种查询形状列出来,确认五种能按订单号或用户 ID 直接查,两种需要聚合,决定只迁前五种,聚合仍留 MySQL。范围划清,是控制风险的第一步。
第一步,双写。顺序必须是「先写 MySQL,成功后再写新库」。MySQL 是事实来源,新库写失败只进 outbox 表,由补偿任务重试三次,绝不因为新库失败而回滚主流程。反过来先写新库,一旦 MySQL 失败,就会出现新库有、老库没有的脏数据。上线后盯 outbox 的失败数,目标是不超过每天万分之一的写入。
SELECT status, COUNT(*) FROM mongo_outbox GROUP BY status;
+---------+--------+
| status | COUNT(*) |
+---------+--------+
| OK | 480213 |
| PENDING | 12 |
| FAILED | 0 |
+---------+--------+
上面是示例输出,未在本机实测。失败时表现:outbox 出现 FAILED 且不再下降,说明新库持续写不进去;此时不要切读,先修写入链路,双写可以随时关掉,主流程不受影响。
第二步,影子读。按 user_id 哈希抽 1% 的请求,同时读两边,逐字段比对,忽略 updated_at 这类噪声字段。1% 大约是 40 QPS,一天十万级样本。差异率超过 0.1% 就停下来查原因。失败时表现:差异集中在某个字段,通常是类型或时区不一致;回滚动作是把采样率调回 0,读路径始终没有变过。
第三步,数据校验。三层:行数、主键集合的校验和、抽样字段。行数按区间分段比,避免一条 COUNT(*) 扫全表;校验和用分段 CRC32 异或,能定位到具体哪一段不一致;抽样一千行逐字段比对,金额统一按分存储,时间统一按 UTC。
SELECT COUNT(*) AS rows FROM orders WHERE id >= 1 AND id < 1000001;
SELECT BIT_XOR(CRC32(CONCAT_WS('|', id, user_id, amount, status))) AS sig
FROM orders WHERE id >= 1 AND id < 1000001;
+---------+
| rows |
+---------+
| 1000000 |
+---------+
+-----------+
| sig |
+-----------+
| 184729301 |
+-----------+
两边的结果必须一模一样,示例输出未在本机实测。失败时表现:某一段行数对得上但校验和对不上,说明有字段被改过或类型转换丢了精度;回滚动作是暂停流程,按主键区间补数,补完重新校验,不能带着差异往下走。
第四步,灰度切读。按 1%、10%、50%、100% 四档放量,每档至少观察 24 小时。按 user_id 哈希固定分流,保证同一个用户不会在两个库之间跳来跳去。看三个指标:P99、错误率、空结果率。失败时表现:P99 上升或空结果率异常,说明某类查询在新库上没有对应索引;回滚动作是把路由开关拨回,十秒内生效。
第五步,切写。读全量切过去并稳定一周后,再把写切到新库,同时保留从新库回到 MySQL 的反向同步,用于回滚。双写继续跑两周,确认新库稳定后再停。失败时表现:写入延迟上升、反向同步延迟拉大;回滚动作是写路径切回 MySQL,靠反向同步把新库这几天的增量补回老库,所以反向同步的 lag 必须实时监控。
第六步,保留回滚开关。开关放配置中心,切回耗时目标十秒;保留期至少 30 天;期间老库只读但数据完整;回滚演练在切写前做一次,记录每一步耗时。演练没做过,等于没有回滚。
这一趟的真实代价:两个人做了三个月,机器成本每月多一万三,双写期间写入放大一倍,校验全量跑了两轮共四十多分钟;报表仍然留在 MySQL,商品详情反而留在了新库。收益是订单查询 P99 从 120ms 降到 45ms,慢查询从每天二十条降到两条。这个账划不划算,取决于你当初定的目标,而不是取决于用了哪种数据库。
现象、真实原因与第一步排查
下面这些现象,在「换库之后」和「迁移过程中」都出现得最多。注意右列查的往往不是数据库本身,而是迁移链路。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 迁移后查询反而变慢 | 新库没有为这类查询建索引;查询形状需要多次往返或在应用层拼装 | 看新库的执行计划是否命中索引,统计单次请求访问了几次存储 |
| 两边数据对不上 | 双写只写了一边、补偿任务漏跑、字段类型或时区转换丢了精度 | 按主键区间比行数与校验和,抽样比对具体字段,查 outbox 的失败记录 |
| 回滚后新库那几天的数据没了 | 没有反向同步,或反向同步中断后没人发现 | 查反向同步任务的 lag 与断点,确认回滚窗口内的增量是否已补齐 |
| 机器和人力成本同时上涨 | 两套存储并行、双写放大、监控备份翻倍,还需要专人维护 | 把两套集群的机器、人力、备份与工时按月列出来,和收益放在同一张表里 |
| 故障时团队定位慢 | 不会看新库的慢查询与执行计划,缺少对应告警和经验 | 查值班记录里的首次定位时间,看监控是否覆盖连接、锁、复制延迟 |
| 灰度期间双写失败率上升 | 新库连接池被打满、写入被限流、或批量任务与在线流量抢资源 | 看新库的连接数、写入延迟分位值、outbox 积压与重试次数 |
| 切读后某些用户看到空白 | 分流按请求而不是按用户,同一用户在不同库之间跳;或新库缺了部分历史数据 | 核对分流键是否与用户绑定,再按该用户 ID 查两边的数据完整性 |
边界与代价:什么时候别换
强事务和多表关联是核心时,别换。订单、库存、支付、账务这类操作,天然的边界就是「几个写必须一起成功」。文档库的事务能用,但跨文档、跨分片的代价高;宽列库干脆没有跨行事务。把它们拆成最终一致,等于把数据库的职责搬到业务代码里,还要额外养一套对账。
报表和即席查询多时,别换。只要业务方还会临时提「按这个维度再看一下」,关系库的通用查询就是无可替代的。文档库和宽列库都要求查询提前设计,产品经理不会按你的数据模型提问。
数据量没到瓶颈时,别换。单表几千万、查询都带索引、慢查询能通过改写解决,这时候换库的收益通常是负的:延迟没降多少,运维复杂度先翻倍。真正的信号是「优化手段都用完了,瓶颈还在」,而不是「表看起来很大」。
团队没有运维能力时,别换。新存储的故障模式、监控指标、备份恢复方式都和原来不同。没有对应的值班能力和演练,一次节点故障的恢复时间就可能超过业务能承受的范围。
没有可量化收益时,别换。「技术栈更现代」「社区更活跃」不是收益。至少要写下:哪个指标、从多少到多少、多久能回本。写不出来,就不该立项。
说完这些,「不换」就不再是一个保守的选择,而是一个有依据的结论。技术方案评审里,能清楚说明「现有库还能撑两年、瓶颈在索引不在存储、迁移收益覆盖不了成本」,比跟风换一套新库更有价值。真正成熟的判断不是「会不会用新东西」,而是知道什么时候不用。
小结
这一组文章从「关系库在哪一步卡住」讲起,走了数据模型、Redis、MongoDB、倒排索引、宽列、一致性与 Quorum,最后落到选型和迁移。绕了一圈,真正想说的其实是一句反话:NoSQL 不是升级,是换一种代价结构。它把写入吞吐、稀疏字段、横向扩展换给你,同时拿走 JOIN、跨实体事务、即席查询和成熟的运维经验。
所以判断顺序永远是:先量化瓶颈,再确认现有库优化到头,再列出一致性与查询的硬约束,然后小范围试点,最后才决定。决定要换,迁移本身也要当成一个独立项目:双写、影子读、校验、灰度、切写、回滚开关,每一步都能退,才算可控。
当天可以自己验证的练习:
- 把你负责的系统里 Top 20 查询列出来,标注是否带主键或分片键、是否涉及 JOIN、是否要求强一致,算出「能迁走」的比例。
- 挑一条最慢的查询,只用加索引或改写 SQL 优化一次,记录优化前后的扫描行数与 P99;如果优化后够用,这次选型讨论就可以结束。
- 在本地 MySQL 造一张一百万行的表,分别测一次全表
COUNT(*)和按主键区间分段统计的耗时,估算全量校验要跑多久。 - 写一份回滚 runbook:触发条件、开关位置、反向同步怎么补、验证哪几个数、谁有权拍板,控制在两页以内。
- 找一次团队里「想换库」的提议,把七笔账逐条填一遍;填不出来的那几项,就是方案真正的风险点。