一次普通的滚动发布,把库存服务的四个实例逐个替换。运维在发布平台上看到第一个旧实例已经摘除,注册中心列表里也确实少了一个。按理说流量应该全部转到剩下三个,但监控上出现了三十笔 502,时间集中在摘除后的半分钟里。值班的人很困惑:注册中心都摘了,为什么还有请求打过去。
把三条时间线摆到一起就清楚了。注册中心在 t=115 摘除实例,消费者本地缓存的地址列表要到 t=145 才过期,中间这三十秒里,它仍然认为那个地址可用,于是持续发请求。真正开始避开这个实例,是 t=146。一个已经下线的进程,又被人敲了三十秒的门。
这件事的根子不在注册中心,也不在消费者,而在「地址信息从一处传到另一处需要时间」这件事本身。服务发现系统里,没有任何一个环节能保证「摘除瞬间全体生效」。这篇就把这四段时间拆开,看看每一段能压到多短、压太短又会付出什么。
七个现象:大多不是注册中心坏了
服务发现的问题很少表现成「注册中心挂了」。它更多表现为「名单是对的,流量是错的」。下面这些现象,排查时先把时间线对齐,比直接重启注册中心有用得多。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 发布时 502 集中在某几分钟 | 消费者缓存还没过期,仍在调用已摘除实例 | 对齐摘除时间和客户端缓存刷新时间 |
| 摘除后仍有持续请求打过去 | 客户端缓存加上长连接保持,旧连接没断 | 查客户端缓存 TTL 与连接池的空闲回收配置 |
| 新实例上线很久没人调用 | 消费者只在缓存过期时才重新拉列表 | 查刷新间隔,确认是推送还是轮询 |
| 注册中心显示健康,调用却失败 | 心跳只证明进程在,不证明能干活 | 看应用层健康检查是否接入了注册状态 |
| 摘除一个实例后剩下的被打垮 | 摘除前没有预热,剩余实例没有容量余量 | 查剩余实例的 CPU、连接数和排队长度 |
| 跨机房调用绕了远路 | 消费者没有按机房或区域订阅,拿到全量列表 | 查实例元数据里有没有区域标签,客户端是否按标签过滤 |
| 两个版本的实例混在同一份名单里 | 注册时没带版本或分组,灰度无法隔离 | 查实例注册的元数据和消费者选择的规则 |
第一条和第二条是同一类问题,都是「信息传播延迟」。第三条说明刷新机制选错了,推送模式本该更快。第四条最危险,因为监控面板全绿,人却已经不信监控了。第五、六、七条属于选型或元数据设计问题,和注册中心本身的健康无关。
先记住一个判断顺序:看到调用打到错误的实例,先问「这个地址是从哪拿的、什么时候拿的」,再问「注册中心是什么时候改的」。把这两个时间点对齐,八成能定位。
注册与发现到底在做什么
服务发现要解决的是一个很朴素的问题:服务 A 要调用服务 B,但 B 的地址会变。B 可能扩容成四个实例,可能因为发布换机器,可能整个机房迁移。把地址写进配置文件,改一次就要发布一次,显然不行。注册中心就是把「当前有哪些可用地址」这件事集中记下来,让调用方随时来问。
注册中心里存的不是路由规则,而是一份「实例清单」:每个实例的地址、端口、所属服务、区域、版本、权重,以及最近一次心跳时间。它不做负载均衡,也不做熔断,这些工作交给消费者或网关。把职责分清楚很重要,很多团队把限流、鉴权也塞进注册中心,最后它变成了一个谁都不敢动的巨型组件。
「租约」这个词第一次出现,解释一下:注册中心不会永久相信一个实例还活着,它给每次注册一个有效期,心跳相当于续租。租约到期没续上,就认为实例已经消失。这套机制的好处是注册中心不需要主动去探测每个实例,代价是「发现死亡」必然有延迟,最短也要等一个租约周期。
消费者拿列表有两种方式。拉模式是客户端每隔一段时间主动来问,实现简单,但刷新有固定延迟;推模式是注册中心在列表变化时主动通知,延迟低,但要维护大量长连接,还要处理通知丢失和重连。大多数注册中心两种都支持,实际项目里常见的是「推送加本地缓存」,缓存是最后一道保险。
四段延迟叠加,才有了「地址过期」
从「实例真的不能用了」到「所有消费者都不再调用它」,中间隔着四段时间。把它们分开算,参数就好定了。
四段相加,才是用户真正感知到的「过期时间」。一次意外宕机,如果心跳间隔 10 秒、过期阈值 30 秒、缓存 30 秒,最坏情况下要 70 秒左右消费者才完全避开;一次主动下线本可以做到秒级,但因为客户端缓存,仍然要等三十秒。这就是开头那次发布里三十笔 502 的来源。
参数不是越小越好。心跳太频繁会给注册中心和网络增加无谓压力,上千个实例、每秒一次心跳,注册中心要处理的连接和写入都很可观。过期阈值太短,一次垃圾回收停顿或者网络抖动就可能把健康实例摘掉,引发不必要的流量迁移。客户端缓存太短,每个请求都去问注册中心,注册中心会变成新的瓶颈,而且它一抖,全站都抖。
一个能落地的起点是:心跳 5 到 10 秒,过期阈值取心跳间隔的 3 倍,客户端缓存 5 到 10 秒,主动下线时先通知注册中心再等一个缓存周期才停进程。这套参数下,意外宕机的发现时间在 20 到 40 秒,主动下线可以压到 10 秒左右。对大多数业务够用,也不会给注册中心太大压力。
缓存设多长,代价是什么:一组本机实测
光说「缓存有延迟」不够直观。下面这组对照把同一个摘除动作放在三种客户端缓存设置下跑了一遍,摘除时刻固定为 t=115。
消费者缓存 0s | 注册中心摘除 t=115 | 缓存失效 t=115 | 无效请求 0 笔 | t=116 消费者才开始避开该实例
消费者缓存 30s | 注册中心摘除 t=115 | 缓存失效 t=145 | 无效请求 30 笔 | t=146 消费者才开始避开该实例
消费者缓存 120s | 注册中心摘除 t=115 | 缓存失效 t=235 | 无效请求 85 笔 | 恢复前一直无请求
三行数字说明的事很直接。缓存 0 秒时,注册中心一摘除,消费者下一毫秒就知道了,没有一笔请求打空,代价是每次调用都要问一次注册中心,注册中心承担全部读压力。缓存 30 秒时,摘除后还有三十秒的窗口,按当时的调用频率产生了三十笔无效请求,到 t=146 才真正避开。缓存 120 秒时,窗口拉到两分钟,无效请求累计 85 笔,直到缓存失效才停止。
第三行最后那句「恢复前一直无请求」值得单独说。缓存到 t=235 才失效,那时实例早就从名单里消失了,所以失效之后不会再打到它,直到实例恢复上线才会有新请求。也就是说,长缓存的问题不是「一直打」,而是「在窗口期内持续打」,窗口有多长,浪费的请求就有多少。
反过来看第一行,缓存 0 秒听起来完美,但它把注册中心变成了每次调用的必经之路。注册中心只要有一次抖动,所有调用都拿不到地址,本来只是「名单旧了一点」的问题,升级成「全站无法调用」。所以真实系统几乎不会用 0 秒缓存,而是用短缓存加推送,把延迟压到几秒,同时保留本地兜底。
这组数字还解释了一个常见疑问:为什么发布平台显示「已摘除」,用户还在报错。平台看的是注册中心的状态,用户看的是自己进程里的缓存。两边都没错,只是站在不同的时间点上。
优雅下线:把窗口从三十秒压到三秒
缓存延迟没法完全消除,但主动下线这件事是可以做到「先断流量、再停进程」的。顺序对了,窗口期就只剩一个缓存周期;顺序错了,进程已经停了,名单还没改,那段时间的请求全部失败。
收到停止信号 SIGTERM
1. 把健康检查状态切成 draining,不再接收新流量
2. 向注册中心注销自己,或把权重置为 0
3. 等待一个客户端缓存周期 + 少量余量,例如 10s
4. 停止接收新请求,等待在途请求完成,最多等 30s
5. 关闭连接池、刷盘、退出进程
超时保护:第 4 步超过 30s 仍未完成,记录未完成请求数后强制退出
这段流程的关键是第三步。很多人只做了第一步和第二步,然后立刻停进程,结果消费者的缓存还没刷新,请求继续打到已经关闭的端口。等一个缓存周期,是给信息传播留出时间,不是浪费时间。
启动侧也有顺序。实例要先完成端口监听、依赖检查、预热,再去注册中心报到。如果先注册再初始化,消费者会拿到一个「地址通了但业务没准备好」的实例,表现是启动瞬间一批 500。注册中心不负责判断你能不能干活,它只负责记录你说自己活着。
状态切换要接进健康检查。进程还在、端口还通,不代表能处理请求:数据库连接池耗尽、依赖的下游超时、本地缓存正在全量加载,这些情况下实例应该主动把自己标成不健康,让注册中心摘掉,而不是继续硬扛。健康检查具体怎么设,属于高可用那组的话题,这里只强调一点:注册状态要和业务可用性强关联,不能只看端口。
推还是拉,以及元数据怎么设计
推模式延迟低,但有三个成本:注册中心要维护大量长连接;每次变更要广播给所有订阅者,实例多的时候会有通知风暴;连接断开期间的通知会丢,客户端必须能靠重连后的全量拉取恢复。拉模式实现简单,缺点是延迟等于轮询周期,而且轮询本身有成本。
实际可用的组合是「推加兜底拉」:正常靠推送,客户端同时保留一个较长的定时全量刷新,比如每五分钟一次,用来修复漏掉的通知。这样既拿到低延迟,又不会因为一次通知丢失就永久停留在旧名单上。
元数据比地址更重要。只注册 IP 和端口,你没法做机房亲和、灰度分流、权重调整、版本隔离。常见的元数据字段包括:区域或机房、服务版本、实例权重、是否为灰度、支持的协议。消费者按这些字段过滤和排序,才能做到「同机房优先」「只调新版本」「把流量导到高配机器」。
元数据也会过期。灰度实例下线后如果没注销,标签还在,消费者仍然会按标签选中它。所以元数据要和实例生命周期一起管理,不能只在启动时写一次。版本升级时,新旧实例的元数据要能区分,否则灰度就变成了随机分发。
边界与代价
服务数量很少时,注册中心是多余的一层。三五个服务、地址半年不变,用配置文件加环境变量就够了,引入注册中心只是多了一个要运维的组件和一个新的故障点。地址变更不频繁时,配置中心加一次发布,成本更低。
注册中心自己就是单点。它挂了,新实例注册不上,老实例的租约陆续过期,消费者缓存到期后拿不到新名单。要么给注册中心做集群,要么让客户端在拿不到名单时使用本地持久化的最后一份快照。后者的成本低得多,但必须提前做,故障当天想不起来。
多注册中心会带来一致性问题。跨机房部署两套注册中心,同步有延迟,可能出现一个机房认为实例健康、另一个机房认为它已摘除。这种分裂状态下,流量走向很难预测。要么接受单机房内自治、跨机房走固定路由,要么把同步延迟纳入设计,不要假设两边永远一致。
Kubernetes 里不一定需要独立的注册中心。Service 和 Endpoints 已经提供了一套发现机制,再叠一层注册中心,会出现两个真相来源,排障时不知道该信哪个。已经有编排平台时,先确认它的发现能力够不够,再决定要不要额外的组件。
发现解决不了「调用是否该发生」。注册中心只告诉你哪里有实例,不告诉你该不该调、调用失败了怎么办。超时、重试、熔断、降级这些决定,必须由调用方自己做。把可用性完全寄托在「名单准确」上,迟早会失望,因为名单永远是滞后的。
当天可以自验的五件事
- 找到你所用客户端库的缓存 TTL 配置,确认它的默认值和实际值。很多问题就出在「没配,用了默认」。
- 做一次主动下线演练:观察从发出注销到最后一个请求打过去的间隔,看看是否等于一个缓存周期。
- 把心跳间隔、过期阈值、客户端缓存三个值抄在一张纸上相加,算出一个实例意外宕机后最坏要多久才被完全避开。
- 检查实例注册时带了哪些元数据。如果只有地址和端口,试着补上区域和版本两个字段。
- 停掉注册中心一分钟,观察消费者是否还能用本地快照继续调用,以及恢复后名单能否自动补齐。
下一篇讲配置中心。服务地址会过期,配置也一样:你改了配置、点了发布、页面显示成功,业务进程却还在用旧值。那套「改了为什么没生效」的机制,和这里的缓存延迟是同一类问题,只是多了一层「哪些配置本来就不能热更新」。