一次网关版本升级,只改了一个「灰度分流」的过滤器,结果全站接口的平均延迟涨了八毫秒,错误率从千分之一涨到百分之一。排查发现新过滤器会同步调用配置中心取规则,配置中心在升级窗口里响应变慢,网关线程被大量占住,后续请求排队超时。回滚过滤器后立刻恢复。

这个事故的教训很直接:网关是所有请求的必经之路,它的任何一点额外开销都会被流量放大;它依赖的任何一个外部服务,都会变成全站的依赖。把鉴权、限流、路由、灰度、日志、参数校验全堆上去,短期看是「统一治理」,长期看是「单点风险集中」。

这篇先把网关的职责边界摆清楚,再用本机模型算三笔账:过滤器叠加的延迟、串联依赖的可用性、线程与并发的容量。本机没有安装 Spring Cloud Gateway 或 APISIX,网关自身的过滤器配置无法实测;入口转发、超时与故障转移用 Nginx 1.28.0 代替验证,延迟与可用性数字仍来自本机仿真。

先认出现象:网关一变,全站都抖

网关的问题有两个特点:影响面全站,定位却常被当成「某个接口慢」。下面这些现象,大多能追到网关层。

现象真实原因第一步查什么
所有接口同时变慢,后端指标正常网关某个过滤器变慢,或依赖的外部服务变慢看网关分过滤器的耗时统计,而不是只看总耗时
升级网关后错误率上升,回滚就好新逻辑同步调用外部依赖,占住了工作线程对比升级前后的线程池活跃数与外部调用耗时
部分用户 401,部分正常鉴权缓存不一致,或密钥轮换时新旧密钥并存看鉴权结果的缓存键与密钥版本
限流误伤正常用户限流键按 IP 或实例维度,NAT 后大量用户共享同一键看限流键的维度和命中分布
灰度规则改了但没生效规则缓存在网关本地,更新依赖过期时间看规则缓存的刷新机制与最后更新时间
大请求体在网关被截断请求体大小限制或缓冲区设置过小看请求体限制与实际请求大小
后端扩容了,网关先成为瓶颈网关线程数或连接数固定,无法随后端扩展看网关的并发上限与队列等待
跨域请求预检全部超时预检请求也走了完整过滤器链,包括鉴权看预检请求的路由与过滤器匹配规则

网关到底该做什么

网关是流量的统一入口,它的价值在「统一」:统一协议转换、统一入口地址、统一可观测性、统一的基础防护。判断一个职责该不该放网关,标准是「它是否对所有服务都一样,且不随业务频繁变化」。

该做:路由与协议转换把外部请求按路径或域名转到对应服务,处理 HTTP 与内部协议之间的转换。规则相对稳定。
该做:入口级防护请求体大小、连接数、明显的异常请求拦截、TLS 终止。这些与业务无关,放在入口最省事。
该做:统一观测请求 ID、访问日志、耗时、状态码、上游地址。让每个请求都能在一条链路里被找到。
谨慎:鉴权可以做「验签、解析身份、传递身份」,但权限判断应留给服务。密钥和规则要能独立轮换。
谨慎:限流与灰度入口限流能保护全局,但配额维度要业务参与;灰度规则频繁变化,缓存和一致性要专门设计。

「谨慎」不等于不能做,而是要做成一件事先想清楚失败模式。鉴权服务挂了,是所有请求拒绝还是放行?灰度规则拉取失败,是走默认还是报错?这些策略要在上线前定,不能等故障时临场决定。

入口防护和 WAF 也不是一回事。网关能做的是限制请求体、限制连接、拦截明显异常的路径,它不懂 SQL 注入、跨站脚本这些攻击特征。把这些都指望网关,会出现「网关很忙,攻击还是进来了」。专业的攻击防护要在专门的层做,网关只做基础约束。

不该做的:把业务逻辑搬进网关

下面这些职责放进网关,短期能少改一个服务,长期会变成没人敢动的黑盒。

可以留在网关

身份解析、请求头透传、基础限流、路径级灰度、响应压缩、跨域策略、统一错误格式。规则简单、可测试、失败影响可估。

应该退回服务

权限判断、业务参数校验、按用户画像的复杂分流、接口级配额、响应体改写、业务幂等判断。这些规则会随业务频繁变化,放在网关等于把业务藏进配置。

尤其是「权限判断」。网关可以知道「你是谁」,但「你能不能看这个订单」需要业务数据和规则,放在网关就意味着网关要连业务库或缓存,依赖面立刻扩大。正确做法是网关解析身份并传给服务,服务自己做授权。

还有「响应体改写」。在网关里拼装或裁剪 JSON,看起来能减少下游改动,实际会让网关和接口字段强耦合。接口一改,网关跟着改;网关一改,所有接口都要回归。这种耦合在微服务里是灾难。

灰度放在网关也有边界。按百分比切流量是网关擅长的,按用户特征切流量就需要网关照用户维度的数据,这会把业务规则带进来。更稳的做法是网关只负责「按标签路由」,标签由服务或专门的规则中心算好,网关不判断业务含义。

过滤器叠加:每个都不贵,加起来就贵

网关的请求要顺序经过一串过滤器:解析、鉴权、限流、路由、日志、响应处理。每个过滤器看起来只要零点几毫秒,但它们是串行的,延迟直接相加。

本机模型按四个过滤器的实测耗时叠加:整体 p50 是 0.87 毫秒,p95 是 2.62 毫秒,p99 是 4.39 毫秒。其中鉴权过滤器的 p99 是 4.00 毫秒,限流是 1.30 毫秒。注意分位数的叠加不是简单相加:整体的 p99 由最慢的那个过滤器主导,而不是四个 p99 相加。

四个过滤器串行:
整体 p50 0.87ms / p95 2.62ms / p99 4.39ms
鉴权 p99 4.00ms    限流 p99 1.30ms

这个数字说明两件事。第一,网关的固定延迟不是零,接口本身的预算要把这段算进去。第二,优化要看最慢的过滤器,而不是平均分配精力。把鉴权的 p99 从四毫秒降到一毫秒,比把日志从零点二毫秒降到零点一毫秒有用得多。

过滤器越多,长尾越难控制。每个过滤器都可能偶发慢,比如缓存未命中、配置刷新、DNS 解析。十个过滤器各有百分之一的慢请求,叠加后至少一个慢的概率接近百分之十。这就是「每个都不贵,加起来就贵」。

串联依赖:可用性是乘出来的

网关自己可能很稳,但它依赖 Redis 做限流计数、依赖鉴权服务验签、依赖配置中心取规则。这些依赖是串联的:任何一个不可用,请求就无法完成。

按每个组件百分之九十九点九的可用性算,四个串联后的可用性是 99.700%,每月不可用约 129.5 分钟。这个数字不是「四个九」,而是「两个九多一点」。如果依赖更多,或者某个组件只有百分之九十九,结果会更差。

网关 + Redis + 鉴权服务 + 配置中心 串联:
可用性 99.700%,每月不可用 129.5 分钟

应对方式有三种。第一,减少同步依赖:能本地缓存的规则就缓存,能异步校验的就不阻塞请求。第二,依赖失败时降级:鉴权服务不可用时,是拒绝所有请求还是放行已缓存的会话,要提前定。第三,给依赖设短超时和熔断,别让一个慢依赖拖住所有线程。

降级策略没有标准答案,但必须有。最糟的情况是「依赖挂了,网关线程全卡住,连健康检查都超时」,这时负载均衡会把网关也摘掉,故障从「鉴权不可用」升级成「全站不可用」。

限流依赖 Redis 时尤其要想清楚:Redis 挂了,是放行全部请求还是拒绝全部?放行会让后端失去保护,拒绝会让全站不可用。常见折中是「降级为本地内存限流」,配额变粗、多实例之间不共享,但至少还能挡住明显的洪峰。这个降级路径要提前写好并演练。

容量:线程、并发与超时

网关的吞吐上限可以用一个简单公式估:并发数等于每秒请求数乘以单请求耗时。反过来说,固定线程数能支撑的 QPS 上限,等于线程数除以单请求耗时。

本机模型:二百个线程、单请求八毫秒,理论上限是两万五千 QPS。但如果 p99 是二十毫秒,要支撑两万 QPS,需要的并发是四百个,已经超过二百个线程。结果就是请求排队,延迟进一步升高,形成正反馈。

200 线程、单请求 8ms:理论上限 25000 QPS
p99 20ms 时,20000 QPS 需要并发 400 个

结论是:按平均耗时算容量会严重高估。要用接近峰值的分位数,还要留出排队余量。线程数不是越多越好,线程太多会增加上下文切换和内存占用;更好的做法是把阻塞调用改成异步,减少每个请求占住线程的时间。

超时也要分层设置。连接超时要短,读超时要按接口类型区分,重试次数要少。网关对下游的超时必须小于上游对网关的超时,否则上游已经放弃,网关还在等,线程白占。这个「超时预算」要在链路图上标清楚。

与下游的连接也要用池化。每个请求新建连接,会增加握手开销,也会在流量高峰时耗尽端口。连接池要设上限,上限要小于下游能接受的最大连接数,否则只是把排队从网关挪到了下游。

什么时候不该上网关

服务数量少、协议单一、没有统一入口需求时,一个反向代理加几条规定就够了。独立网关带来的是又一层部署、配置、升级和监控,收益不明显。

团队没有能力维护「网关加多个依赖」时,先不要上。网关的复杂度不在转发,而在它串联的那些服务。没有降级预案、没有超时预算、没有分过滤器监控,网关会变成故障放大器。

不要把网关当成「微服务的必需品」。单体应用加一个反向代理,同样能完成路由和 TLS;等到服务拆分真的带来统一入口的需求,再引入网关。先上网关再拆服务,通常是本末倒置。

网关的任何一个同步外部调用,都要按「它可能挂」来设计。没有超时、没有缓存、没有降级的外部调用,等于把全站可用性绑在别人身上。

关键配置样例

下面是一份通用网关配置思路,字段以常见网关的语义书写。本机没有装对应网关,这份配置未实测;同层的超时与重试用 Nginx 在 8085、8084 端口验证。

# 路由与超时(网关未安装,未实测;超时语义已用 Nginx 验证)
route:
  - id: order-service
    uri: http://order-svc:8080
    predicates:
      - Path=/api/order/**
    filters:
      - StripPrefix=1
    metadata:
      connect-timeout: 1000
      response-timeout: 5000
      retries: 0

# 全局:请求体大小、线程池、降级
server:
  max-request-size: 10MB
gateway:
  threads: 200
  queue-capacity: 100
  circuit-breaker:
    failure-rate-threshold: 50
    wait-duration: 10s

重试设为零是有意的。网关层对非幂等请求重试,可能造成重复下单;对幂等请求,重试也会放大下游压力,尤其在 downstream 已经过载时。重试应该由调用方或服务内部按接口语义决定,不要在网关一刀切。

队列容量要小。网关前面已经有负载均衡的队列,网关内部再排一个大队列,只会让请求等更久,最后一起超时。小队列加快失败,把压力反馈给上游,比默默堆积好。

灰度规则要本地缓存,并设一个兜底默认值。配置中心不可用时,按默认规则走,而不是拒绝所有请求。缓存刷新要能主动触发,不能只靠过期时间,否则规则改了要等几分钟才生效。

怎么验证:命令与成功判据

下面命令用于确认「慢在哪个过滤器、线程是否被打满、依赖是否拖累」。网关组件未安装,这五条未实测;入口层的健康、超时和下游失败,用 Nginx 的真实输出对照。

# 1. 看网关自身的健康与线程池
curl -s http://gateway:8080/actuator/health
curl -s http://gateway:8080/actuator/metrics/executor.active

# 2. 用分过滤器耗时定位慢点(按你所用网关的指标名调整)
curl -s http://gateway:8080/actuator/metrics | grep -i filter

# 3. 压测入口,观察延迟分位数与错误率
wrk -t4 -c200 -d30s http://gateway:8080/api/order/list

# 4. 停掉一个依赖,确认降级是否按预期生效
# 先停鉴权服务或配置中心,再重复第 3 步

# 5. 看下游连接与超时
ss -s
curl -s http://gateway:8080/actuator/metrics/http.client.requests
# 本机替代验证:入口层(Nginx 1.28.0)
# 8085:后端处理 3s,proxy_read_timeout 2s
HTTP/1.1 504 Gateway Time-out    time_total: 6.042
error.log 对三台后端各记一次 upstream timed out (10060)

# 8084:杀掉一台后端,连续 10 次请求全部 200
X-Upstream: 127.0.0.1:9103, 127.0.0.1:9101
# 三台全停:502,耗时 6.114s

这组输出说明入口层能做的只有快速失败和切换;过滤器耗时、线程池活跃数这类网关内部指标,没有网关组件就测不出来,只能按上面的命令清单在真机上补。

成功判据:健康检查稳定;线程池活跃数在压测时接近上限但不持续打满;分过滤器耗时里没有单个过滤器占据大部分;压测的 p99 在预算内;停掉一个依赖后,请求按预案降级,而不是全部超时。

还要验证「依赖变慢」而不是「依赖挂掉」。把配置中心的响应人为延迟两百毫秒,观察网关线程是否被占住、延迟是否整体上升。这个测试能暴露同步调用的问题,比直接停掉服务更接近真实故障。

边界与代价

网关是单点,必须做冗余。两台网关加负载均衡是底线,规模大时还要考虑跨可用区。冗余带来配置同步、证书同步、版本一致性问题,这些都要有流程。

网关的升级风险高于普通服务,因为它在前端。升级要能灰度、能快速回滚,最好支持按流量比例切版本。没有回滚能力的网关升级,等于每次发布都在赌。

网关的性能优化有上限。它做的是转发,不应该做重计算。如果发现网关 CPU 高,先看是不是过滤器里做了不该做的事,而不是加机器。加机器能让它撑更久,但不会让单请求变快。

最后是组织成本。网关是全站公共设施,改它的规则会影响所有团队。要有评审、有变更记录、有回滚预案,否则它会变成「谁都能改、谁都不敢改」的地方。

当天能自验的五个练习

一,写一个四层过滤器的本机模拟:每层加固定延迟和偶发长尾,统计整体 p50、p95、p99。成功判据:能复现「整体 p99 由最慢过滤器主导」的现象。

二,把四个依赖的可用性按串联相乘,算出每月不可用分钟数。成功判据:结果与 99.700%、129.5 分钟同一量级,并能说出减少一个依赖能省多少。

三,用「线程数除以单请求耗时」估算网关上限,再用 p99 反算所需并发。成功判据:能解释为什么按平均值算会高估容量。

四,给一个本地服务加「依赖延迟两百毫秒」的开关,观察请求延迟和线程占用如何变化。成功判据:能看到同步依赖把线程占住,而不是只看到接口变慢。

五,写一份网关降级清单:每个外部依赖挂掉时,是拒绝、放行还是走缓存。成功判据:每个依赖都有明确策略和责任人,而不是「到时候再看」。

和下一篇的关系

网关处理的是「请求进门」,但请求里有一半是图片、视频、下载文件,这些不该走应用。下一篇讲对象存储与 CDN:文件该放哪、回源怎么设、缓存键怎么设计,以及为什么改一个查询参数就能让命中率掉一半。

网关的账要一直记着:每加一个职责,就多一份延迟、多一个依赖、多一个故障模式。能放在服务里的,尽量放回服务。