一次周五下午的网关发布,只是加了一个请求头透传的小改动。滚动到第二个实例时,监控上所有接口的错误率同时抬了一下,持续大约八秒。八秒不长,但网关是所有流量的入口,那八秒里受影响的是全站,不是某一个业务。事后统计,网关代码 2600 行,其中大概七成是各种业务字段的拼接、校验和格式转换,最初只有 12 条路由。

这个团队不是一开始就想把网关做成业务系统。最早只是想让外部调用统一走一个入口,后来产品要「一个接口返回订单加物流」,放在网关最快;再后来要「老客户端字段兼容」,也在网关改;再后来要「按用户等级做不同的返回结构」,还是网关。每一步都合理,加起来就变成了一个没人敢重构的巨型入口。

网关的核心矛盾就在这儿:它离流量最近,所以做什么都「方便」;也因为它离流量最近,任何一点复杂度都会被放大到全站。这篇想给出一条能执行的边界,不是「网关要薄」这种口号,而是具体到哪些逻辑留下、哪些必须挪走。

七个现象:网关正在变成第二个单体

网关出问题的表现和普通服务不太一样。普通服务挂了只影响一个业务,网关抖动影响所有业务。下面这些现象,只要有两条以上同时出现,基本可以判断边界已经失守。

现象真实原因第一步查什么
网关发布,全站接口短暂不可用所有流量走同一入口,网关发布没有灰度或没有多版本并行查网关实例数、发布方式和流量切换机制
每个需求都要改网关业务字段拼接、兼容逻辑堆在网关里统计网关代码中业务分支和业务实体名的数量
接口 p99 比直连高十几毫秒多了一跳鉴权和转发,多一次排队和序列化对比同一接口直连与过网关的耗时分布
网关 CPU 很高,下游却很闲网关在做聚合、转换、重试,真正的工作压在入口看网关线程栈和耗时占比,找出最重的处理段
一个接口被限流,别的接口也慢了限流按网关实例做全局计数,没有按路由或调用方分维度查限流 key 的组成,确认是否区分路由和租户
内网服务能被外部直接访问网关只做了转发,没有做网络层隔离确认服务是否只监听内网地址、安全组是否收敛
灰度流量进不来,全量先变了路由规则写死版本,没有按请求头或权重分流查路由规则里的匹配条件和版本标签

第一条和第三条是网关的固有成本,只要用了网关就会存在,能做的是把它控制住,不是消灭它。第二条和第四条是边界问题,可以靠挪代码解决。第五、六、七条属于配置和网络设计,和代码量无关,但同样会造成「网关一抖全站抖」。

判断网关是否过厚,有一个很土但有效的指标:看最近二十个需求里,有多少个必须改网关代码。如果超过一半,网关已经成了业务开发的主战场,它就不再是基础设施,而是一个所有团队共享的单体。

网关该做什么:五件事,都是横切的

网关的合理职责有一个共同特征:它们对「所有请求」都一样,不关心请求里的业务含义。这类逻辑叫横切逻辑,放在入口做一次,比每个服务各做一遍要省。

接入与终止统一域名、TLS 终止、请求体大小限制、连接管理。让内部服务不必各自处理证书和公网协议。
身份与鉴权校验令牌、解析调用方身份、把身份信息放进请求头传给下游。下游只信任来自网关的请求。
路由与版本按路径、请求头、权重把流量分到不同服务或版本,支撑灰度和蓝绿发布。
限流与配额按路由、调用方、租户做入口保护,挡住明显异常的流量。
可观测入口生成 traceId、记录访问日志、统计入口指标。这是全站可观测性的起点。

这五件事的共同点是「一次处理、全局受益」。鉴权如果在每个服务里各做一遍,规则会不一致;traceId 如果不在入口生成,跨服务链路就串不起来;限流如果只在下游做,异常流量已经穿过了半个系统。它们放在网关是合理的。

但即使是这五件事,也有边界。鉴权只做「身份认证和粗粒度授权」,具体某个订单能不能退、某个字段能不能看,属于业务权限,应该在下游服务判断。网关不知道业务实体,也不该知道。让它去查订单归属,等于把业务数据访问塞进入口,延迟和耦合都会上去。

路由也是同理。网关按路径和标签转发,不解析请求体里的业务字段来决定去向。一旦路由依赖请求体,网关就必须反序列化每个请求,吞吐会明显下降,而且业务字段一改,路由规则就废了。

不该做什么:聚合、事务、兼容、重试

有四类逻辑特别容易往网关里跑,每一类都有更合适的位置。

厚网关

在网关里拼装多个下游的返回、转换字段、兼容老客户端、按用户等级改结构。写起来快,因为入口什么都能拿到。代价是每次业务变更都要动全站入口,测试范围是全站,发布风险也是全站。

薄网关加聚合层

网关只做横切,聚合逻辑放到独立的 BFF(面向前端的后端)或由客户端多调一次。BFF 可以按端独立发布、独立扩容,出问题只影响一个端,不会拖全站。

业务聚合。「一个接口返回订单加物流加优惠券」这种需求,放网关最快,但它的变化频率和业务一样高。正确位置是 BFF 或专门的聚合服务,它和网关分开部署、分开发布,故障域也分开。

事务与状态。网关应该是无状态的。任何「先扣库存再创建订单」的编排都不该出现在这里。网关一旦持有状态,扩缩容、重启、故障转移都会变得复杂,而且它离数据库越近,入口就越容易被慢查询拖住。

老客户端兼容。字段改名、结构升级这类兼容逻辑,放在网关能让老客户端无感,但会永久留在入口,成为谁都不敢删的技术债。更好的做法是在下游服务里做版本化接口,网关只负责按版本路由。

重试。网关做重试听起来能提高成功率,实际上很危险:它不知道下游操作的幂等性,对非幂等接口重试会造成重复下单、重复扣款。重试应该由最了解业务语义的调用方决定,网关最多做连接级的快速失败。

还有一类常被忽略:请求体转换。把 XML 转 JSON、把表单转对象,这类转换如果放在网关,网关就要完整读取并解析请求体,大文件上传会被它拖死。转换放在服务里,网关只做流式转发,吞吐差一个量级。

多一跳到底多多少:一组本机实测

「网关会增加延迟」这句话人人会说,但增加多少、增加在哪,值得用数字说话。下面是同一次本机对照,同一段逻辑分别直连服务和经过网关。

直连服务: 300 次, p50 15.50ms, p99 17.51ms
过网关(鉴权+转发): 300 次, p50 30.87ms, p99 34.62ms

这是同一次本机 Windows 环回环境下的实测,绝对数字不代表生产。能看出的是比例:经过网关后 p50 从 15.50 毫秒变成 30.87 毫秒,差不多翻倍;p99 从 17.51 毫秒变成 34.62 毫秒,也接近翻倍。网关串行做鉴权和转发,每多一跳就多一次排队和序列化,这个成本是结构性的,不是某个网关产品性能不好。

这十几毫秒花在哪,可以拆成几块:网关接收请求并解析协议;查鉴权信息,可能命中本地缓存,也可能要访问鉴权服务;重新构造转发请求,复制请求头和请求体;选一个下游实例并建立或复用连接;等待下游返回;再把响应写回客户端。任何一块都可能成为瓶颈,尤其是鉴权缓存失效时,网关会突然多出一次远程调用。

所以网关的数量要克制。一个请求过两道网关,成本就是两次叠加;如果网关还做了聚合,调了三个下游,延迟会再加上三个下游的耗时。很多系统「入口慢」,不是某一个服务慢,而是入口串行做了太多事。

# 入口超时预算示例
总预算            800ms
网关自身处理       20ms   # 解析、鉴权缓存命中、转发
下游服务预算      700ms
网络与排队余量     80ms

规则:网关不再叠加额外重试预算;下游超时之和不得超过 700ms

超时预算的意义在于防止「层层等待」。如果网关超时设 5 秒,下游每个服务也设 5 秒,一个慢请求可以在链路上挂很久,占住的连接和线程会越积越多。入口的总预算应该是最紧的那一个,下游按预算分配,谁都不得超过。

边界怎么划:三个判据

遇到「这个逻辑放网关还是放服务」的争论,可以用三个问题判断,比讨论架构风格更快。

它是否对所有请求都一样。鉴权、traceId、访问日志对所有请求都一样,放网关。订单字段拼装只对下单接口有意义,放服务。判断标准不是「放哪儿方便」,而是「影响的请求范围有多大」。

它是否随业务频繁变化。网关的发布风险是全站的,所以它的代码应该稳定。一个逻辑如果每个迭代都要改,放进去就是把全站的发布节奏绑在一个业务上。这类逻辑应该放到变化的那一侧。

它是否需要理解业务实体。网关只应该看到「路径、方法、请求头、调用方身份」,不应该看到「订单号、商品 ID、用户等级」。一旦它需要解析业务字段,就说明这个逻辑放错了地方。

三个判据里,第三个最硬。因为一旦网关开始理解业务实体,它就和业务库、业务规则绑在一起,后面想拆都拆不掉。很多「网关不敢动」的系统,都是从这里开始的:最初只是为了一个兼容字段,后来这个字段的规则越来越复杂,最后没人说得清网关里到底有哪些业务逻辑。

一个可执行的约束:网关代码里不允许出现业务实体名。比如不允许出现 order、sku、coupon 这类词。这条规则粗暴,但比任何架构文档都好检查。

参数怎么定:限流维度、连接池、请求体

限流维度。至少要分三层:按路由限,防止单个接口打满入口;按调用方限,防止一个租户影响其他人;按实例总量限,防止整体过载。只做全局计数的限流,会让一个异常接口把所有接口的配额吃光。限流的 key 里应该包含路由标识和调用方标识,而不是只有 IP。

连接池。网关到下游的连接池要按下游服务分别设置,不能所有下游共用一个池。一个慢下游会把池占满,其他下游明明健康也拿不到连接。每服务的最大连接数按该服务的实例数和单实例承载能力算,别拍一个「500」了事。

请求体大小。入口必须限制请求体大小,比如普通 JSON 接口 1MB,文件上传单独走对象存储的直传通道。不限制的话,一个大请求就能占住网关的内存和带宽,影响所有并发请求。

请求头数量与大小。网关会透传或注入请求头,头太多太大同样消耗内存。限制总大小,并且明确哪些头允许透传。尤其是客户端自定义头,不加白名单直接透传,可能把内部调试头带到下游。

空闲连接回收。入口到下游的连接不能永久保持,要有空闲回收和最大生命周期。下游实例滚动发布时,旧连接指向已经关闭的端口,没有回收就会持续报错,表现和「服务发现没生效」很像。

边界与代价

网关本身是单点。所有流量都从它过,它挂了全站不可用。必须多实例部署,并且实例之间不能共享同一个故障域。网关的发布也要能灰度,至少做到先摘一个实例、观察、再继续。

网关会成为团队瓶颈。一旦所有需求都要改网关,网关团队就成了排队点,其他团队等它排期。这比技术上的耦合更致命,因为它是组织问题,靠重构解决不了。解法是把网关的职责收窄,让大部分需求不需要经过它。

薄网关会让客户端多调几次。把聚合挪走之后,移动端可能要发三个请求而不是一个,弱网下体验会差。这是取舍:入口稳定和端上请求数,通常只能选一个。BFF 是折中方案,但要接受多一个要维护的服务。

网关不是安全边界本身。它能做鉴权和限流,但不能替代网络隔离。如果内部服务仍然对公网可达,攻击者可以绕过网关直接打服务。网关要和网络策略一起用,否则只是一道装饰性的门。

小系统不需要独立网关。三五个服务,用反向代理加几行配置就够了。引入一个可编程网关,意味着多一个组件、多一套配置、多一个要值班的东西。等功能真的复杂到需要按请求头路由、按租户限流,再引入也不迟。

别把网关当成「什么都往里塞」的合理借口。每个塞进去的逻辑单看都只多几毫秒,但网关是所有请求的必经之路,几毫秒乘以全站 QPS,就是实打实的容量成本。

当天可以自验的五件事

  1. 统计网关代码里业务实体名出现的次数,比如 order、sku、coupon。次数越多,边界越模糊。
  2. 挑一个最常用的接口,分别测直连和过网关的 p50 与 p99,算出网关这一跳的真实成本,而不是凭感觉。
  3. 检查限流配置的 key 维度,确认它是否区分了路由和调用方。只有 IP 或只有全局计数的,需要补。
  4. 看网关发布流程:能否先摘一个实例观察,能否同时跑两个版本。做不到的,先补发布能力再谈其他。
  5. 从外部网络直接访问一个内部服务的地址,看是否能通。能通的,说明网关之外还有一条路,隔离没做到位。

下一篇讲链路追踪。网关生成了 traceId,请求接着往下走,跨过六个服务。当用户说「这次下单很慢」,你手里有一串 span,但各台机器的钟不一样,直接相减会算出负数。那篇讲怎么在时钟偏移的情况下,找出真正慢的那一段。