一次常规发布之后,网关错误率突然涨到三成。排查发现,八台应用实例在同一分钟内被负载均衡摘掉,只剩两台在扛流量。这八台并没有死,只是发布时 JVM 正在编译热点代码,健康检查接口偶尔要 300ms 才返回。探针超时设成了 200ms,连续失败三次就摘除,于是所有「慢一点但健康」的实例被一起判了死刑。
三个月后又出了一次反过来的事故。一台实例的线程池被打满,业务线程全在等一把锁,端口还在监听,TCP 连接也能建立,探针访问的 /ping 只返回一个静态字符串,所以一直显示健康。它接了两小时流量,用户看到的是大面积超时。
健康检查的难,不在于写一个返回 200 的接口,而在于你怎么定义「健康」,以及允许多长的误判窗口。这两件事定错了,探针越勤快,事故越大。
先分清两种错:误杀和漏杀
健康检查只有四种结果组合:健康判健康、故障判故障,这两种是对的;健康判故障叫误杀,故障判健康叫漏杀。两种错的代价方向相反,调参数本质上是在两者之间分配风险。
误杀的代价是容量瞬间减少。一次摘掉一半实例,剩下的实例要么被打垮,要么触发连锁摘除,最后全站不可用。漏杀的代价是坏实例继续接流量,一部分用户持续报错,而且监控上看起来「实例还在」,排查时容易被误导。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 发布后实例成批被摘 | 探针超时短于应用冷启动或 GC 停顿时间 | 对比探针耗时分布与实例的 GC、启动日志 |
| 实例端口在、探针通,但业务全超时 | 探针只检查端口或静态字符串,不检查工作线程 | 看探针是否经过真实业务路径、线程池是否还有空闲 |
| 数据库抖动时所有应用同时不健康 | 就绪探针把下游依赖算进自身健康 | 查探针实现里是否调用了数据库、缓存、第三方接口 |
| 实例恢复了却一直不回流量 | 成功阈值太高,或摘除后没有自动重新加入 | 查成功次数要求与负载均衡的恢复策略 |
| 同一时刻两地实例一起被摘 | 探针从同一个中心节点发起,中心节点网络抖动 | 查探针来源是否分散、是否共享同一条链路 |
| 滚动发布时旧实例先被摘,新实例还没就绪 | 没有独立的启动探针,启动期就被当成故障 | 查启动探针的宽限期与最大启动时间 |
| 探针接口本身把 CPU 打高 | 探针太重,每次都查库、跑聚合、写日志 | 看探针 QPS 与单次耗时,是否做了缓存 |
表里最后两条经常被忽略:探针不是免费的,它自己也会消耗资源;探针也可能成为单点,所有实例的健康判断都依赖同一个探测源,探测源抖动就会引发全站误杀。
还要区分「一次误判」和「持续误判」。单次超时很常见,网络抖动、GC、磁盘刷盘都会造成;连续多次失败才说明实例真的有问题。所以失败阈值不是可选项,它是把偶发抖动过滤掉的最低成本手段。反过来,实例恢复后也不要立刻满流量接回,先给一小部分流量观察,再逐步放开,避免刚恢复的实例被瞬时流量再次打垮。
存活、就绪、启动,三种探针别混用
容器化之后,健康检查被拆成三种语义。名字来自 Kubernetes,但思路在任何编排系统里都适用。
三者混用的典型症状是:数据库主从切换,应用的就绪探针失败,编排系统却按存活探针的规则把进程重启了。重启解决不了依赖问题,只会让恢复更慢,还可能导致连接风暴。另一个症状是启动慢的服务没有启动探针,刚拉起就被存活探针判定失败,陷入反复重启。
判断一个探针该归哪类,看失败后的动作:重启进程,就是存活;摘流量或拒绝新请求,就是就绪;延长等待,就是启动。动作和检查内容必须匹配,不能一个接口包打天下。
滚动发布最能暴露三者混用的问题。新实例正在加载缓存,就绪探针还没通过,编排系统却按存活探针的规则认为它启动失败并杀掉重建,发布就卡在反复重启。正确的顺序是:启动探针给足宽限期,就绪探针在缓存加载完成后才通过,存活探针在整个过程里保持宽松。三者各管一段,发布才能平稳推进。
就绪探针还有一个容易被忽略的作用:优雅下线。实例准备退出时,先把就绪状态置为失败,让负载均衡停止转发,再等已有请求处理完,最后才退出进程。少了这一步,退出瞬间的在途请求会直接失败,用户看到的是零星 502。
探针到底该查多深
探针按深度可以分三层,越深越能发现真问题,也越容易误杀和拖慢。
浅层:端口或静态响应
只证明进程还在监听。实现最简单,几乎不会误杀,但漏杀最严重。线程池打满、死锁、依赖全挂,它都返回 200。适合只用来做存活判断,不适合做就绪判断。
深层:经过真实工作路径
检查工作线程是否还有空闲、连接池是否可用、关键本地状态是否正常。能发现死锁和资源耗尽,代价是探针本身要占用一点资源,阈值要按真实耗时分布来定。
还有第三种:业务探针。它真的走一次核心链路,比如校验能不能读到一个已知的配置、能不能完成一次无副作用的查询。业务探针最接近用户视角,但最容易把下游故障放大成自身故障。它适合放在独立的监控系统里做黑盒探测,不适合直接决定实例摘除。
一个实用的组合是:存活探针查进程内一个轻量的自检,比如调度线程是否在按时推进;就绪探针查工作线程池和必要的本地资源;业务探针单独跑在外部,只告警不摘流量。三层各管一件事,误杀和漏杀的边界就清楚了。
具体到实现,存活探针不要走网络请求,能在进程内检查就不要绕一圈 HTTP。进程内的调度线程、后台任务的心跳、关键单例的状态,都能用很低的开销读到。就绪探针可以走本地 HTTP,但响应必须来自缓存或常量,不能每次现算。业务探针放在外部,允许它慢、允许它重试,因为它只负责发现问题,不负责做摘除决策。
每加一层检查,都要问一句「它失败时我希望系统做什么」。如果答案是「重启」,那它就不该出现在就绪探针里;如果答案是「摘流量」,那它就不该出现在存活探针里。这个问题能挡掉大部分拍脑袋的配置。
超时和阈值,要按耗时分布定,不要拍脑袋
最常见的错误是先写一个 200ms 超时,再要求应用「必须快」。正确顺序反过来:先量出健康状态下探针耗时的分布,再按分位数定阈值。
# 一次真实测量(本机 Node 24,探针访问四类实例)
探针超时 300ms
fast 实际: 健康, 10ms | 探针: 通过 58ms | 放行
slow 实际: 健康, 600ms | 探针: 失败 308ms | 摘除(误杀)
hung 实际: 死锁, 不响应 | 探针: 失败 309ms | 摘除(正确)
dead 实际: 进程已退出 | 探针: 失败 6ms | 摘除(正确)
探针超时 1000ms
fast 实际: 健康, 10ms | 探针: 通过 28ms | 放行
slow 实际: 健康, 600ms | 探针: 通过 615ms | 放行
hung 实际: 死锁, 不响应 | 探针: 失败 1010ms | 摘除(正确)
dead 实际: 进程已退出 | 探针: 失败 7ms | 摘除(正确)
这份输出说明两件事。第一,超时从 300ms 放到 1000ms,误杀消失了,但真正死锁的实例要等满 1 秒才被判定失败,漏杀窗口变长。第二,死进程和死锁进程的失败速度完全不同:连接被拒绝只要几毫秒,连接被接受但永不响应要等满超时。探针必须能区分「连不上」和「连上了但不干活」,后者才是更常见的故障。
阈值建议按这几个量来定:探针超时取健康状态 P99 的两到三倍;失败阈值至少 3 次,避免单次抖动误判;检查间隔要小于「你能接受的故障暴露时间」;成功阈值至少 2 次,避免刚恢复就被流量打回故障。滚动发布时,启动探针的宽限期要覆盖最慢一次冷启动,宁可多等,不要反复重启。
故障暴露时间可以算出来:检查间隔乘以失败阈值,再加上单次超时。间隔 10 秒、阈值 3 次、超时 1 秒,最坏要 31 秒才能判定一个实例故障。这个数字要和业务的中断容忍度对一下,也要和负载均衡自身的探测参数对一下。两套参数不一致时,经常出现「编排系统已经摘了,负载均衡还在转发」的窗口。
另一个容易算错的是恢复时间。实例恢复健康后,成功阈值要求连续 2 次通过,加上调度间隔,可能又是二十多秒。这段时间里容量仍然缺一块,如果其余实例没有余量,故障还在继续。所以恢复阈值不宜设得太高,够过滤掉偶发成功即可。
探针自己也会制造故障
第一,探针太频繁。每秒一次、每次查库,一万个实例就是一万 QPS 的额外负载,数据库先被打出问题。探针结果应该短缓存,比如 5 到 10 秒,并且不同层次的探针用不同频率。
第二,探针依赖下游。就绪探针里查数据库、查缓存、调第三方,任何一个抖动都会让所有实例同时不健康。下游故障本来只影响部分功能,探针把它放大成整站摘除。就绪探针只该判断「本实例能不能干活」,下游健康交给熔断和降级处理。
第三,探测源集中。所有实例的健康状态由同一台探测机判断,探测机网络抖动,全部实例一起被摘。探测源至少要两个,并且放在不同的故障域;或者让负载均衡自己发起探测,避免额外的中心节点。
第四,摘除没有上限。负载均衡按「不健康就摘」执行,一次摘掉八成实例,剩余实例过载后又变不健康,形成雪崩。要设摘除比例上限,比如一次最多摘 30%,并且摘除后观察剩余实例的负载再继续。这个保护在发布和网络抖动时特别重要。
第五,摘除时没有排空在途请求。实例被判定不健康后,负载均衡立刻停止转发,但已经建立的长连接和正在处理的请求还在。如果这时直接杀进程,用户会看到一批莫名其妙的失败。正确做法是先停止接收新请求,给在途请求一段排空时间,再退出。这个时间不需要很长,但要和接口的最大处理时间匹配。
第六,探针结果没有留痕。出了事故之后,大家只记得「实例被摘了」,却说不清是探针超时、连接拒绝还是应用返回了 500。探针的每次失败都应该记录原因和耗时,至少保留最近几小时。排查时这三个信息能直接区分「网络问题」「进程问题」和「应用逻辑问题」,比事后猜快得多。
边界与代价
探针不能证明业务正确。它能证明进程能响应、线程没死,不能证明库存扣得对、消息发得出去。业务正确性要靠对账、指标和黑盒探测,别让健康检查承担它承担不了的职责。
越灵敏的探针越容易误杀。把阈值调紧,故障发现更快,但网络抖动、GC、冷启动都会被当成故障。调松则相反。没有一种参数同时最优,只能按业务能接受的中断时间来选。
无状态服务的探针可以很简单。如果实例本身不持有状态,重启成本低,存活探针查进程、就绪探针查线程池就够。只有持有状态的服务,才需要在探针里检查更多本地状态,但也要小心把状态检查做成新的故障点。
别让健康检查替代容量规划。实例被摘除后,剩余实例必须有足够余量接住流量。如果平时就跑在八成负载,再灵敏的探针也救不了,摘一台就过载。
参数要跟着应用变化。发布新版本、加了下游调用、换了垃圾回收器,探针的耗时分布都会变。每次大改后重新测一次 P99,比沿用去年的阈值可靠。
探针不能跨故障域共享。如果探测源和实例在同一个机柜、同一台宿主机、同一条网络路径,一次机柜级故障会让探测源和被探测实例一起消失,监控上看到的是「全部健康检查超时」,而不是「实例故障」。探测源要分散,最好由每个故障域自己判断本地实例。
不要为了少配几个参数而合并探针。把存活和就绪合成一个接口,看起来省事,实际是在两种完全不同的失败动作之间做妥协。合成后的接口要么太严导致误重启,要么太松导致坏实例继续接流量。分开写两个小接口,成本很低,语义清楚得多。
当天可以自验的五件事
- 把现有探针接口的耗时打点,连续观察一小时,记下 P50、P99 和最大值;如果 P99 已经接近超时值,先放宽。
- 人为制造一次线程池耗尽(比如用一个只 sleep 的测试接口占满线程),看就绪探针是否能发现;如果仍然返回 200,说明探针太浅。
- 检查就绪探针里是否调用了数据库或第三方接口;如果有,把它们拆出去,改成外部业务探测。
- 确认摘除比例是否有上限;没有的话,在负载均衡或编排系统里加一条保护规则。
- 把一次滚动发布从头走一遍,记录启动探针宽限期是否够、旧实例何时被摘、新实例何时接流量,找出中间的空窗。
下一篇讲故障转移。探针只能告诉你「它不行了」,真正难的是接下来谁接管、怎么把流量导过去、旧实例恢复后会不会继续抢着干活。切换动作里藏着比探针更多的坑。