一个业务系统在周一上午出现「所有接口都慢」:页面加载从两秒涨到六秒,接口超时率上升,但没有一个服务报错。开发查应用,应用说数据库正常;查数据库,数据库说连接不多;查网关,网关说后端响应慢。每个人都在看自己那一环,结论都是「我这儿没问题」。

最后是运维把一次请求的完整耗时打出来,才看到问题在 DNS:运营商递归解析出了故障,用户侧解析域名多等了三四秒,请求根本没到机房。后面的服务确实都正常,只是它们从来没收到请求。

这类问题的根因不在任何单个组件,而在「没人对整条路径负责」。这篇把一条典型请求拆成七跳,逐跳说明它负责什么、加多少延迟、坏了会怎样,最后给出定位方法。数字来自本机 Node 模型;本机用 Nginx 1.28.0 加三台 Node 后端搭了最小链路,入口到应用的耗时与上游地址是实跑;DNS、CDN、多机房仍无法实测。

先认出现象:慢、断、错,先分清哪一跳

全链路问题最容易犯的错,是把「用户说慢」直接当成「应用慢」。先按现象分类,能少走很多弯路。

现象真实原因第一步查什么
所有接口一起慢,应用指标正常问题在到达应用之前,比如 DNS、CDN、负载均衡看用户侧到机房的连接时间与 DNS 解析时间
只有部分地区慢局部网络、CDN 节点、运营商解析差异按地区与运营商分组看耗时
首屏慢,接口不慢静态资源加载慢,或 CDN 回源慢看静态资源的加载瀑布图与缓存命中
偶发 502,重试就好某一跳连接被拒或超时,负载均衡摘除有延迟看错误集中在哪个上游地址
接口 p50 正常、p99 很高长尾由某一跳的偶发慢主导,不是平均值问题按跳拆解 p99,而不是看总平均
发版后错误率上升新旧实例并存,连接池或会话未兼容看错误是否只落在新版本实例
跨地域用户访问特别慢没有就近接入,请求绕了远路看接入点与用户地理分布
监控显示正常,用户仍投诉监控只覆盖机房内部,没覆盖 DNS 与客户端补端到端探测与真实用户监测

这张表里最值得记住的是第一行和最后一行。前者提醒你「慢可能发生在机房外」,后者提醒你「监控覆盖不到的地方就是盲区」。

一条请求的七跳

把路径画出来,比背组件名字有用。一个 HTTPS 请求大致经过这些环节,每一跳都可能加延迟,也都可能失败。

从用户到数据的一次请求
DNS域名换地址
CDN就近取静态资源
负载均衡选一台入口
网关路由与基础防护
应用执行业务逻辑
缓存先查热点数据
数据库读写真相

DNS 负责把域名换成地址,它本身不传输业务数据,但解析慢会让后面所有环节都还没开始。CDN 负责静态资源和可缓存内容,命中时请求不出边缘节点。负载均衡负责把连接分到多台入口,避免单点。网关负责统一路由、身份解析、基础限流。应用执行业务逻辑,缓存承担重复读,数据库保存真相。

DNS 这一跳最容易被忽略,因为它不在机房内部。递归解析、权威解析、运营商缓存,任何一段出问题,用户都会表现为「网站打不开」。而机房里的监控看到的是「没有请求进来」,于是显示一切正常。要监控这一跳,得从外部探测,不能只靠内部指标。

CDN 这一跳的关键是「命中」。命中时用户从边缘节点拿数据,延迟低、回源少;没命中就要回源,源站的压力和延迟都会上升。静态资源、图片、可公开的接口结果适合放这里;带用户身份的接口不能放,否则会串数据。

负载均衡和网关经常被混为一谈。前者解决「把连接分给哪台机器」,后者解决「请求进来后按什么规则处理」。小系统里两者可能合成一个反向代理,大系统里会拆开,因为它们的扩容节奏和变更频率不同。

应用这一跳是唯一「每个请求都要跑业务代码」的地方,也是最容易变慢的地方。数据库这一跳通常不是最慢的,但它一旦慢,所有依赖它的接口都会排队。缓存的价值是把一部分读从数据库挪走,不是让数据库消失。

不是每个系统都需要七跳。小系统可能只有 DNS、反向代理、应用、数据库四跳。但无论几跳,「谁负责这一跳、它慢了多少、它挂了会怎样」这三个问题都要有答案。

延迟预算:p99 不是各跳 p99 相加

本机模型给每一跳设了一个中位耗时和长尾,模拟二十万个请求,统计单跳和总耗时。单跳的 p50 分别是 CDN 2.09、负载均衡 0.93、网关 1.98、应用 10.15、缓存 0.72、数据库 5.24 毫秒;p99 分别是 2.81、1.25、2.98、16.29、1.02、8.89 毫秒。

整条链路的总耗时 p50 是 21.66 毫秒,p95 是 27.83 毫秒,p99 是 29.73 毫秒。注意:六跳 p99 相加是 33.24 毫秒,比实际总 p99 还高。因为「每跳都撞上自己最慢的百分之一」这件事,比「整条链路撞上最慢的百分之一」更罕见。

单跳 p50/p99(毫秒):
CDN 2.09/2.81  LB 0.93/1.25  gateway 1.98/2.98
app 10.15/16.29  cache 0.72/1.02  db 5.24/8.89
总链路 p50 21.66  p95 27.83  p99 29.73
各跳 p99 相加 33.24

这组数字有两个用处。第一,做预算:如果产品要求 p99 小于五十毫秒,当前链路还有余量;要求小于三十毫秒,就已经贴着线,任何一跳抖一下都会超。第二,定位:总 p99 高时,先看哪一跳的 p99 贡献最大,通常是应用和数据库,而不是代理。

延迟预算要按「端到端」分配,不是每跳各自定一个数再加。比如总预算五十毫秒,先扣掉网络和客户端十毫秒,再给应用二十毫秒、数据库十毫秒、其余各跳共十毫秒。分配完要标注「谁超了谁负责」,否则每个团队都觉得自己在预算内。

预算还要区分「服务时间」和「排队时间」。应用处理只要十毫秒,但线程池排队等了二十毫秒,用户感受到的是三十毫秒。排队时间在监控上往往不算在「接口耗时」里,需要单独看线程池和连接池的等待指标。

测量方式也要统一。服务端测的是「收到请求到返回响应」,客户端测的是「发出请求到收到首字节」,中间还差网络和 TLS。两边数字对不上时,先确认测的是不是同一段,别急着怀疑对方。

每一跳的失败模式

组件不同,坏的方式也不同。知道坏的样子,才能在监控上提前埋点。

DNS解析超时、解析到旧地址、局部运营商不递归。用户侧表现为「网站打不开」,机房侧一切正常。
CDN命中率下降导致回源暴涨、证书过期、边缘节点故障。表现为静态资源慢或 404,接口本身正常。
负载均衡后端摘除滞后、健康检查误判、连接数打满。表现为一部分请求 502 或超时,且集中在某台。
网关过滤器变慢、依赖服务超时、线程池排队。表现为所有接口一起慢,后端指标却正常。
应用连接池耗尽、线程池排队、GC 停顿、下游超时。表现为 p99 陡增,错误率不一定高。
缓存实例故障、热键、内存淘汰、网络抖动。表现为回源量上升,数据库连接数跟着涨。
数据库慢查询、锁等待、连接打满、复制延迟。表现为写慢或读旧,往往最后才被发现。

这张清单的价值在于「跨层排除」。用户说慢,先看 DNS 和 CDN;机房内部慢,先看网关和应用;应用慢但数据库不忙,先看连接池和线程池。按层排除,比在每个组件里翻日志快。

还要注意「故障叠加」。缓存挂了会导致数据库压力上升,数据库慢又会让应用线程堆积,最后网关超时。表面上是网关报错,根因在缓存。排查时要顺着时间线看,而不是只看最后一个报错的组件。

超时要按链路分层设置,而且外层必须大于内层。客户端等三十秒、网关等十五秒、应用等十秒、数据库等五秒,这样超时会在最靠近故障的地方发生,外层能拿到明确的错误。反过来,如果数据库等三十秒、客户端只等五秒,客户端早就断开,应用还在傻等,线程被白白占住。

哪些层可以省,哪些不能省

刚起步的系统不需要七跳。静态资源少、用户集中、流量不大时,DNS 加一台反向代理加应用加数据库就够了。CDN、网关、缓存都可以等有明确需求再加。

不能省的是「入口的冗余」和「数据的备份」。单台反向代理挂了全站就挂,这个风险要尽早处理;数据库没有备份,出一次事就是大事。这两件事的优先级高于「加缓存」「加网关」。

每加一层,都要回答三个问题:它解决什么具体问题、它坏了业务会怎样、它自己怎么监控。答不上来,就先别加。架构不是越多越好,是「每一层都有明确的职责和明确的代价」。

尤其是「为了以后可能的高并发先加上」。没有明确流量和明确瓶颈时加的那一层,平时不产生收益,故障时却会多一个要排查的地方。等需求真的出现再加,迁移成本通常低于长期养一个用不上的组件。

画架构图时,在每个框旁边写上「p99 延迟」和「故障时的降级动作」。写不出来,说明这一层还没想清楚。

最小可用配置样例

下面是一份「四跳」的最小配置思路。反向代理与连接池部分在本机实跑过;DNS 与 TLS 没有公网域名,未实测。

# DNS:主域名指向负载均衡入口,TTL 不宜过长(无公网域名,未实测)
shop.example.com.  300  IN  A  203.0.113.10

# 反向代理:超时要短,转发真实地址(本机实测,8081 轮询三台后端)
server {
    listen 443 ssl;
    server_name shop.example.com;
    location / {
        proxy_pass http://app_pool;
        proxy_connect_timeout 2s;
        proxy_read_timeout 15s;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Request-Id $request_id;
    }
}

# 应用:连接池按数据库上限倒推(未实测)
datasource.maximum-pool-size=20
datasource.connection-timeout=3000

TTL 三百秒意味着改地址后最多五分钟生效,故障切换时这个时间可能太长。核心域名可以设更短,比如六十秒,代价是解析请求更多。切换前要先把新地址加进去,确认可用,再切旧地址。

请求 ID 要在入口生成并透传到所有下游。没有它,跨层排查只能靠时间戳猜。日志里带上请求 ID、上游地址、耗时,一条请求的全貌就能拼起来。

健康检查的路径要和业务路径分开。用一个轻量的、不查数据库的接口做探活,否则数据库慢时健康检查也失败,负载均衡会把所有实例一起摘掉,故障被放大。健康检查只能判断「进程是否还能服务」,不能判断「下游是否正常」。

怎么验证:命令与成功判据

下面命令从外到内逐跳验证。本机链路实跑了第 2 条,结果照录;DNS、CDN、traceroute 需要公网环境,未实测。

# 1. DNS 解析耗时与结果
dig +stats shop.example.com

# 2. 建立连接与首字节时间
curl -s -o /dev/null -w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' https://shop.example.com/

# 3. 看静态资源是否命中 CDN
curl -sI https://shop.example.com/static/app.js | grep -Ei 'age|x-cache|cache-control'

# 4. 看每一跳的网络路径
traceroute shop.example.com

# 5. 应用侧的耗时分布
curl -s http://app:8080/actuator/metrics/http.server.requests | head -40
# 本机实际输出(入口 Nginx 1.28.0:8081 转发到 Node 24.21.0:9102)
dns=0.000385 connect=0.000995 appconnect=0.000000 ttfb=0.008764 total=0.008843
{"backend":9102,"name":"node-9102","path":"/whoami"}
# 本机没有 TLS,appconnect 为 0;总耗时 8.8ms,其中首字节 8.76ms

这组数说明在单机环回上,DNS 与连接几乎不花时间,耗时主要在应用处理;真实链路上 DNS 和跨机房网络才是大头,这也是为什么内部监控看不到用户侧慢。

成功判据:DNS 解析在几十毫秒内;连接与 TLS 握手时间稳定;首字节时间在预算内;静态资源第二次请求有 Age 或缓存命中标记;应用侧 p99 与入口观测一致;错误集中在某一跳时,能定位到具体地址。

验证要分「冷请求」和「热请求」。冷请求包含 DNS、连接、TLS,热请求复用连接。只看热请求会漏掉接入层的问题,只看冷请求会把正常握手时间当成故障。

最重要的是外部探测。从几个不同地区、不同运营商,定时请求一个真实接口,记录解析、连接、首字节、总耗时。内部监控看不到 DNS 和用户到机房的网络,只有外部探测能补上这段。没有外部探测,「机房内一切正常、用户一直投诉」就会反复发生。

边界与代价

层数越多,故障点越多,可用性是乘出来的。三个九十九点九的组件串联,整体就只剩九十九点七。这个账在「小团队架构」那篇会细算。加层之前,先问这一层带来的可用性收益是否大于它的可用性损失。

延迟也是加出来的。每跳看起来只有一两毫秒,七跳加起来就是十几毫秒。对延迟敏感的业务,要定期审视「这一跳能不能合并」。

排查成本会上升。一条请求跨了七个团队,没有统一的请求 ID 和日志规范,定位一次故障要拉五个群。链路追踪不是可选项,是这种架构的基础设施。

最后,架构要能画出来、讲清楚。如果团队里没人能从上到下标出这条路径,说明架构已经超出了认知范围,该收拢了。

责任也要落到人。每一跳都要有 owner、有值班、有告警阈值。没有 owner 的组件,出问题时大家都会说「不是我的」,最后靠临时拉群解决。架构图上的每个框,背后都应该是一个能回答「它坏了怎么办」的人。

成本也要算进来。多一层代理、多一套 CDN,都是按月计费或按流量计费。小团队常常为了「看起来专业」加上用不上的组件,结果钱花了、故障点多了、真正该做的事反而没做。

当天能自验的五个练习

一,用 curl 的格式化输出,把一个真实网站的 DNS、连接、TLS、首字节、总耗时打出来。成功判据:能说出时间花在哪一段,而不是只有一个总数。

二,画一张你负责系统的请求路径图,每跳标注 p99 和故障降级动作。成功判据:每个框都有数字和预案,没有「这里应该没问题」。

三,用本机模型把六跳的耗时相加,比较总 p99 与各跳 p99 之和。成功判据:能解释为什么两者不相等。

四,给一个接口做端到端压测,记录 p50、p95、p99。成功判据:能指出长尾主要由哪一跳贡献。

五,模拟一次 DNS 解析失败(改 hosts 或断网),观察应用监控是否有感知。成功判据:能说出「用户打不开」和「服务挂了」在监控上的区别。

做完这五个练习,最好把结果写成一页纸:路径、每跳 p99、每跳 owner、每跳降级动作。下次再遇到「全站都慢」,先拿这页纸对照,而不是从第一个组件开始翻日志。

和下一篇的关系

路径拼好了,下一步是最常见的两个优化:动静分离和读写分离。它们听起来都像「加了就快」,实际各有各的代价。下一篇算这两笔账:静态请求交给 CDN 后应用真的轻了吗,读写分离后读到的数据为什么可能是旧的。

先把这一篇的一句话记住:架构不是框越多越专业,而是每一跳都能回答「解决什么、坏了怎么办、怎么验证」。

下一篇的「动静分离」会先拆开请求的两个部分:一半是几乎不变的静态资源,一半是每次都要算的业务接口。它们该走不同的路径,混在一起会让应用既算业务又发文件,两头都做不好。