一个缓存集群原本 8 个节点,按「键的哈希值对节点数取模」决定落在哪台。容量不够了,运维加上第 9 个节点。加完之后,89.1% 的键都被重新映射到了别的节点上,命中率从九成多掉到接近零。请求在 12 分钟里几乎全部回源到数据库,数据库连接数被打满,接口大面积超时。

这次故障的根子不是「加错了节点」,而是「取模的分母变了」。分母从 8 变成 9,绝大多数键的计算结果都跟着变。节点数每变一次,几乎整张数据地图就要重画一次,这在线上一分钟都嫌长。

分片要回答两个问题:数据按什么规则切开,扩容时怎么把旧数据搬过去而不影响业务。第一个问题决定「切得匀不匀」,第二个问题决定「扩容疼不疼」。这篇主要讲第二个,因为它才是真正让人吃亏的地方。关于真实多节点缓存或存储集群的部署与故障切换,未在本机实测;文中的分片分布与迁移比例来自本机对 1000 个键的映射模拟。

为什么要分片:单机的三个上限

分片是把一份大数据切成若干份,分别放到不同机器上。它出现的理由很朴素:单机的磁盘、内存、连接数、写入吞吐都有上限,数据量和请求量一旦超过,就只能横向加机器。

分片和复制不是一回事。复制是把同一份数据放多份,解决的是「坏了还能用」;分片是把不同数据放不同机器,解决的是「一台放不下」。真实系统往往两者叠加:先按用户号分片,每个分片再存多个副本。

还有两个词容易混。分区在有些语境里指网络被切断,在有些语境里指数据被切块,这里说分片时一律指后者。理解它们的区别很重要,因为「分区容忍」讨论的是网络,「分片扩容」讨论的是容量,解决方案完全不同。

分片键的选择,比哈希算法更影响成败。选用户号,同一个用户的读写都在一个分片,事务简单;选订单号,数据可能更均匀,但「查一个用户的所有订单」就要跨多个分片。分片键一旦上线,改动代价极大,因为它决定了数据物理上放在哪。

取模哈希:简单,但扩容是灾难

取模是最直观的分片方式:算出键的哈希值,再对节点数取模,余数是几就落到第几个节点。它实现简单、分布均匀、不需要额外元数据,小规模系统用起来很顺手。

问题在节点数变化时爆发。分母从 8 变成 9,原本「余 0 到 7」的键,大部分会落到新的位置。理论上 8 变 9 会有约 8/9 的键被重映射,下面这组输出里实测是 89.1%。

8 节点分布: n1=125 n2=134 n3=143 n4=117 n5=131 n6=116 n7=117 n8=117
加入 n9 后: 迁移键 99/1000 = 9.9%
移除 n5 后: 迁移键 131/1000 = 13.1%
取模哈希 8 到 9: 迁移键 891/1000 = 89.1%
取模哈希 移除 n5: 迁移键 861/1000 = 86.1%

前两行是一致性哈希的结果:加一个节点只迁移 99 个键,占 9.9%;移除一个节点只迁移 131 个,占 13.1%。后两行是取模哈希的结果:加节点迁移 891 个,占 89.1%;移除节点迁移 861 个,占 86.1%。

为什么差这么多。取模的分母是所有节点的总数,任何一个节点变动,分母就变,几乎每个键的余数都要重算。一致性哈希只影响「新节点接管的那一段」,其余键的位置不动。这个差别在数据量大时就是「搬 9%」和「搬 89%」的区别。

取模也不是一无是处。节点数固定、不会扩容的场景,它最简单也最均匀。如果数据量可预期、一次规划到位,用「预分片」把逻辑分片数定死,再映射到物理节点,也能避免分母变化。

一致性哈希:只搬该搬的那一段

一致性哈希把节点和键都映射到一个环上。每个节点在环上占一个位置,每个键也落在环上某个位置,然后顺时针找最近的那个节点,就是它的归属。加一个新节点,只接管它到前一个节点之间的那一段键,其他键不动。

环把哈希值的范围首尾相接,节点和键都投影到同一个环上,便于按位置找归属。
归属键从自己的位置往后找,遇到的第一个节点就是它的家。节点增减只影响相邻区间。
虚拟节点一个物理节点在环上占很多个位置,让数据分布更均匀,也方便把负载从热点节点挪走。

只有物理节点时,节点在环上的位置可能很不均匀,导致某些节点接管了特别大的一段,负载倾斜。虚拟节点就是给每个物理节点分配几十到几百个「影子位置」,让它在环上分散出现。键落到哪个影子,就归它对应的物理节点。虚拟节点越多,分布越均匀,但路由表也越大。

前面那组 8 节点分布能看出,n1 到 n8 分别承载 125、134、143、117、131、116、117、117 个键,最大和最小差 27 个,偏差在可接受范围。这就是虚拟节点在起作用。如果没有虚拟节点,很可能是某一个节点扛了一半数据。

一致性哈希的代价是「查找」和「元数据」。客户端要维护一张环上的节点表,才能算出归属;节点变动时,这张表要更新并同步到所有客户端。表不一致的时候,同一个键可能被路由到两个节点,读到不同的值。所以路由表的版本和刷新机制,是这套方案能不能用的关键。

缓存和持久化存储用一致性哈希的侧重点不同。缓存丢了可以回源重建,迁移期间短暂未命中还能接受;持久化存储丢了就是数据事故,迁移必须配合双写和校验。所以同一套哈希算法,在缓存场景可以「先切后搬」,在存储场景必须「先搬后切」,顺序不能照搬。

路由的三种放法:客户端、代理、服务端

知道键该去哪还不够,还得有人真的把请求发过去。路由逻辑放在哪,决定了系统的耦合方式和故障面。

客户端路由

客户端自己持有分片表,直接连目标节点。少一跳,延迟低;但每个客户端都要实现路由逻辑,表更新要同步,升级客户端才能改规则。

代理路由

客户端只连一个代理层,由代理查表转发。客户端简单,规则集中;代价是多一跳,代理本身要能扩展,不能成单点。

第三种是服务端路由:客户端随便连一个节点,节点发现数据不归自己,再转发给正确的节点。它对客户端最友好,但每次「找错门」都要多一次内部转发,热点时会放大流量。真实系统常常混合:客户端有本地缓存表,错了再走代理兜底。

无论哪种放法,都要处理「表过期」。节点迁移期间,旧表可能把键指到已经不再负责它的节点。稳妥的做法是让目标节点在发现「这个键不归我」时返回一个明确的「重定向」信号,而不是默默返回空值。默默返回空值会让上层以为数据丢了,引发更严重的误判。

扩容搬迁:双写、回填、校验、切读

扩容不只是「改一下路由表」。数据还在旧节点上,得搬过去;搬运期间业务不能停,读写也不能出错。比较稳的流程分四步,每一步都可以独立回滚。

双写新写入同时落旧节点和新节点,读仍走旧的
回填把旧节点上的历史数据批量复制到新节点
校验按分片比对两边的条数和校验和,确认一致
切读读切到新节点,观察一段时间再下线旧数据

双写是最关键的一步。它保证「迁移期间的新数据不会只落在一边」。双写要区分「第一次写」和「更新」:更新时两个节点都要改,否则新节点上的副本会停在旧值。双写失败时要有记录,不能悄悄吞掉,否则校验阶段才发现差异,已经很难补。

双写期间还要处理并发更新。两个请求同时改同一个键,一个先到旧节点、一个先到新节点,两边的最终值可能不同。解决办法是给每次写入带版本号,两边都按版本比较,旧版本不覆盖新版本。没有版本控制的双写,迁移完成后很可能留下「两边都觉得自己对」的脏数据。

回填要限速。全速复制会把旧节点的磁盘和网络打满,影响正常读写。通常按「每秒多少条」或「占源节点带宽的百分之几」来限速,并在业务低峰期跑。回填过程中如果有新写入,靠双写补齐,回填本身只负责历史部分。

校验不能只看条数。条数一样但内容不同,是很常见的情况,比如某次更新只写了旧节点。更可靠的做法是按分片算一个内容校验和,两边对比;不一致的键单独列出来,再逐条修。校验通过之前,不要切读。

切读要灰度。先切一小部分流量到新节点,观察错误率、延迟、数据一致性,再逐步放大。切读之后旧节点不要马上删,保留一段时间做回滚。整个流程里,最危险的动作是「删旧数据」,因为它不可逆,必须放在最后,并且有明确的观察期。

现象真实原因第一步查什么
加节点后缓存命中率暴跌取模哈希分母变化,绝大多数键被重映射确认分片算法是取模还是一致性哈希
扩容后数据库压力突然升高缓存集体失效,请求全部回源查缓存命中率与回源 QPS 的变化时间点
某些节点负载远高于其他没有虚拟节点,或虚拟节点太少,分布倾斜查每个节点承载的键数量和请求量
同一个键在两个节点读到不同值路由表版本不一致,客户端还指向旧节点查各客户端的路由表版本与刷新时间
迁移后部分键查不到目标节点发现不归自己就返回空,而不是重定向查路由未命中时的返回语义
双写期间新节点数据落后只写了新增,更新没有双写查双写是否覆盖更新和删除操作
回填把线上读写拖慢回填没有限速,占满源节点带宽查回填速率与源节点的磁盘、网络使用率
校验通过后仍有零星差异校验只比条数,没比内容查校验是否按内容计算校验和

参数怎么定:分片数、虚拟节点、搬迁速率

分片数要一次规划得比当前需要多一点。比如现在 8 台够用,可以按 64 个逻辑分片规划,每台物理节点承载 8 个逻辑分片。将来加机器时,只需要把逻辑分片挪过去,不用改「键到分片」的映射,迁移量可控。

预分片的关键是把「键到逻辑分片」和「逻辑分片到物理节点」拆成两层。第一层算出来就固定,第二层可以随时调整。扩容时只动第二层,把几个逻辑分片整体搬走,键的归属完全不变,也就不存在「大量键重新映射」的问题。

虚拟节点的数量决定分布均匀度和路由表大小。几十个通常就能把偏差压到可接受范围,上百个更均匀但表更大、更新更慢。可以先用几十个,观察各节点承载量,偏差超过阈值再加。不要一上来就设几千个,路由表同步会成为新的负担。

# 分片与路由参数(示意)
sharding:
  logical_shards: 64          # 逻辑分片数,一次规划到位
  physical_nodes: 8
  shards_per_node: 8
  hash: murmur3               # 稳定、分布均匀
  virtual_nodes_per_physical: 64
  route_table_refresh: 30s
  on_miss: redirect           # 不归自己时重定向,不要返回空

migration:
  dual_write: true
  backfill_rate: 2000/s       # 按条数限速
  verify: checksum_per_shard
  cutover_ratio: 1%..100%      # 灰度切读
  keep_old_days: 7

搬迁速率要按「源节点还能剩多少余量」来定,而不是按「多久搬完」来定。源节点磁盘使用率已经八成,回填就不能跑满;网络带宽只有一条,就要给业务留出余量。搬迁时间可以拉长,业务被打垮很难恢复。

路由表的刷新间隔是可用性和一致性的取舍。刷得太慢,节点变动后客户端还指旧地址,请求会失败;刷得太快,元数据请求本身成为负担。比较好的做法是「定期刷新加变更推送」:平时低频轮询,节点变动时主动通知,客户端收到再拉取。

边界与代价

数据量不大就别分片。分片会带来跨片查询、跨片事务、路由表维护、扩容搬迁一整套复杂度。单表几百万行、一台机器扛得住,优先做索引优化、读写分离、归档冷数据,比分片便宜得多。很多「必须分片」的判断,其实是被预估的增长吓出来的。

分片键选错,后面全是补丁。按订单号分片,查「用户的所有订单」就要扫所有分片;按用户号分片,大客户可能把单个分片打爆。选键时要同时看「写入是否均匀」和「主要查询是否带这个键」,两个都满足的键很少,必须接受某一侧的代价。

一致性哈希不是免费的。它换来了平滑扩容,代价是路由表、虚拟节点、查找逻辑,以及「表不一致」这个新的故障面。节点少、扩容不频繁的系统,取模加预分片可能更简单。

搬迁本质上是双倍存储和双倍写入。迁移期间旧数据不能删,新数据要写两份,磁盘和写入压力都会上升。要把这部分容量提前留出来,否则搬迁跑到一半发现磁盘不够,进退两难。

跨分片事务要尽量避免。一旦一次业务要改两个分片,就要面对分布式事务那套复杂度。能在分片键上把相关数据放在一起,就不要拆开。分片设计的第一目标不是「均匀」,而是「主要业务只碰一个分片」。

一个实用的检查:把「扩容时最坏要搬多少数据」写进设计文档。如果答案是「几乎全部」,那这套分片方案只能撑一次扩容,第二次就会非常疼。

当天可以自验的五件事

  1. 找出系统里所有分片逻辑,确认用的是取模、预分片还是一致性哈希。
  2. 用一批真实的键,计算「节点数从 8 变 9」时有多少键会换位置,和 89.1% 对比。
  3. 检查分片键是否覆盖了最主要的查询条件,列出必须跨分片扫描的查询。
  4. 检查路由未命中时返回的是空值还是重定向,确认不会把「找错门」误判成「数据丢失」。
  5. 为一次模拟扩容写一份四步流程,标出每一步的校验方式和回滚方式。

分片之后,每个分片往往还要有主副本,主副本之间要选出一个说了算的节点。下一篇《选主与租约:谁说了算,过期了怎么办》会从一次两个候选人各拿两票、选举失败讲起,讲投票、任期、租约和脑裂。