一个在线商城的 502 连续三晚出现,时间都在晚上八点前后,持续十几分钟,自己又恢复。运维第一反应是「后端挂了」,登录机器一看,四台应用服务器的 CPU 都在百分之四十左右,进程活得好好的,日志里只有零星的连接重置。把 Nginx 的错误日志翻出来,看到的是 connect() failed (111: Connection refused) 和 upstream timed out 交替出现。真正的原因不是后端死了,而是晚高峰时连接建立得太快,应用侧一个负责建连的线程池被打满,新连接排队超时,Nginx 等不到响应,就把 502 返回给用户。
这类问题的麻烦之处在于:Nginx 只是「报信的人」,它的日志忠实地记录了上游的失败,但失败的原因可能在应用、在数据库、在连接池,甚至在同一台机器上的另一个进程。如果不先把请求链路画清楚,就会一直在 Nginx 配置里打转,改超时、加重试、换算法,都是隔靴搔痒。
这篇先讲 Nginx 作为反向代理和负载均衡器该承担什么,再讲它不该承担什么,最后给出能当天动手验证的配置和命令。本机装了 Nginx 1.28.0,解压到 C:\tools\nginx-docs,用 8081 到 8086 六个端口分别验证轮询、权重、ip_hash、故障转移、读超时与 gzip;后端是 Node 24.21.0 的三个实例,监听 9101、9102、9103。
先认出现象:502 不一定是后端挂了
反向代理层面的故障,通常以几种固定的面貌出现。先把现象、原因和第一步要看的东西对上号,比背配置项有用得多。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 502 集中出现,后端 CPU 却不高 | 应用侧建连线程或连接池耗尽,新连接被拒绝 | 看 Nginx error.log 的具体错误码,再看应用的连接数与线程池指标 |
| 504 而不是 502,且集中在慢接口 | 上游处理时间超过代理超时,代理主动断开 | 对比 upstream_response_time 与 proxy_read_timeout |
| 只有某一台后端报错,其它正常 | 单机故障、磁盘满、文件句柄耗尽,或该机权重配置异常 | 按 upstream_addr 分组统计 5xx,确认是否固定落在同一 IP |
| 用户反复登录,会话说没就没 | 轮询把同一用户的请求分到了不同后端,本地会话不共享 | 查会话是存本地还是外部存储,以及是否开了会话保持 |
| 扩容后新机器分不到流量 | 健康检查未通过,或权重为 0,或 DNS 解析缓存未刷新 | 看 upstream 的探测结果与实际转发计数 |
| 发布时一半请求失败 | 后端优雅退出没做完,代理仍把新连接送进正在关闭的进程 | 看发布脚本是否先从 upstream 摘除,再等待排空 |
| 大文件上传随机失败 | 代理的请求体大小限制或临时目录写满 | 查 client_max_body_size、磁盘余量与临时目录权限 |
| 压测时 QPS 上不去,代理 CPU 先满 | 代理层做了太多重活,比如全量日志、复杂改写、TLS 握手 | 看代理机 CPU 分布,确认是否该拆层或换硬件 |
这张表里最值得记住的是第一行和第七行。前者告诉你「代理的报错不等于代理的病因」,后者提醒你「代理不是无限的」,它自己也会成为瓶颈。
它站在请求链路的哪一层
先把位置摆正。用户浏览器先做 DNS 解析,拿到域名对应的地址;然后与这个地址建立 TCP 连接,如果是 HTTPS,还要多做一次 TLS 握手;连接建立后,请求才到达反向代理。反向代理根据配置选一台后端,把请求转过去,拿到响应再回给用户。
「反向代理」这个词的重点在「反向」:正向代理替客户端访问外部,反向代理替服务端接收外部请求。用户以为自己直接连到了应用,实际中间隔着一层。这一层能做四件事:接收连接、按规则选后端、转发请求与响应、在转发过程中加一点通用处理,比如压缩、加请求头、做简单的访问控制。
「负载均衡」是反向代理的一项子能力,不是它的全部。把请求分给多台后端,目的是让每台都不闲置、也不被压垮。它管的是「分」,不管「活」:后端是否健康、是否该被摘除,需要额外的健康检查和发布流程配合。
它解决什么问题
第一,把单点变成多台。没有代理时,用户直连某台应用,那台机器挂了,用户就访问不了。加了代理和多台后端,代理把请求分给活着的机器,单台故障对用户的影响可以缩到几秒。
第二,把「对外地址」和「对内拓扑」分开。用户只知道一个域名,后端可以随时增删机器、换 IP、改端口,代理配置改一次就行。没有这层,每次扩容都要改 DNS 或让用户换地址。
第三,集中处理一批与业务无关的横切事情:TLS 证书、HTTP 到 HTTPS 的跳转、压缩、静态文件、请求头规范、简单的黑名单。这些事情放在每台应用里重复做,既浪费又容易不一致。
第四,提供一层缓冲:限制连接数、请求速率和请求体大小,让后端不直接被异常流量打穿。这是「缓冲」不是「防护」,真正的防攻击要在更前面做。
它不解决什么问题
还有一个常被误解的点:负载均衡不会自动让系统更快。它只是把同样的工作量分给更多执行者。如果总工作量超过所有后端之和,或者瓶颈在共享资源上,加机器和加均衡只会让排队更长。
四种分法,各自适合谁
轮询最简单:请求依次发给每台后端。它假设每台机器一样快、每个请求一样重。现实中这两个假设都不成立,所以轮询经常把请求堆到慢机器上。我在本机用 Node 模拟了五台处理速度不同的后端,总共发一万个请求,每台理论分到两千个。结果每台的忙碌时间分别是 20.103、24.114、16.097、30.234、19.722 秒,最慢和最快差了 1.88 倍。也就是说,快机器早早干完在等,慢机器还在排队。
加权轮询给每台一个权重,按权重分。权重通常按 CPU 核数或实测处理能力设。同样的模拟里,按能力给权重后,五台忙碌时间变成 21.201、21.174、21.002、20.813、21.224 秒,最长与最短只差 1.02 倍。代价是要有人维护权重,机器换代或业务变化后权重要跟着调,否则会长期偏斜。
最少连接把新请求发给当前连接数最少的后端。它不依赖预设权重,能自动适应请求长短不一的情况。模拟结果里五台的完成时间在 21.09 秒附近,比值 1.00。它的问题是「连接数」不等于「压力」:一个连接可能正在跑重查询,另一个连接在空转等 IO,只看连接数会误判。还要注意,如果代理和后端之间用了连接池或长连接,连接数的含义会变。
一致性哈希按请求的某个键(比如用户 ID、订单号)算哈希,固定落到某台后端。它的目的不是均匀,而是「同一个键始终去同一台」,用于本地缓存、会话粘滞、分片存储。它天然会偏斜:五台、每台一百五十个虚拟节点时,占比是 25.24%、22.74%、18.89%、18.41%、14.71%,最高与最低差 1.72 倍。把虚拟节点加到一千个,占比变成 23.36%、20.14%、19.27%、18.81%、18.42%,差距缩到 1.27 倍。虚拟节点越多越均匀,但路由计算和内存开销也越大。
一致性哈希的真正价值在扩容。五台扩到六台时,它只让 12.74% 的请求换后端,理论下限是 16.67%;同样场景下取模哈希搬了 83.21%,几乎全部重排。对缓存类后端,重排意味着大量缓存失效和回源,这个差别是致命的。
轮询 各机忙碌(秒): 20.103, 24.114, 16.097, 30.234, 19.722 最长/最短 1.88
加权 各机忙碌(秒): 21.201, 21.174, 21.002, 20.813, 21.224 最长/最短 1.02
最少连接 各机完成(秒): 21.089, 21.101, 21.090, 21.107, 21.091 最长/最短 1.00
一致性哈希 150 虚拟节点占比(%): 25.24, 22.74, 18.89, 18.41, 14.71 最高/最低 1.72
一致性哈希 1000 虚拟节点占比(%): 23.36, 20.14, 19.27, 18.81, 18.42 最高/最低 1.27
扩到 6 台搬家: 一致性哈希 12.74%(理论 16.67%),取模哈希 83.21%
Nginx 1.28.0 本机对照(后端 9101/9102/9103):
轮询 20 次 9101=7 9102=7 9103=6
权重 5:3:1 27 次 9101=15 9102=9 9103=3
ip_hash 20 次 9101=0 9102=0 9103=20
什么时候不该上,或不该塞进 Nginx
只有一台后端、流量稳定、没有扩容计划时,反向代理的主要价值是 TLS 终止和统一入口,不是负载均衡。为了一台机器装一层代理,要多维护一个进程、多一跳网络、多一份配置,收益有限。
更常见的问题是「什么都往 Nginx 塞」。下面这些职责,塞进去短期省事,长期会变成没人敢改的配置山。
可以放在代理层
TLS 终止、HTTP 跳转、静态文件、压缩、请求头清洗、按路径的简单路由、连接数与请求体大小限制。这些规则稳定、与业务无关、改错影响面可估。
不该放在代理层
用户鉴权与权限判断、复杂业务路由、按用户画像分流、接口参数校验、业务限流配额、响应体改写。这些规则会随业务频繁变化,放在代理里等于把业务逻辑藏进配置文件。
特别注意「鉴权」。在 Nginx 里做 token 校验,看起来省了一次应用调用,实际把密钥、白名单、过期策略都放到了运维手里,应用反而不知道用户是谁。后面讲网关的那篇会展开:鉴权可以放在网关,但网关是独立服务,不是 Nginx 的一段配置。
还有一个不该做的是「把 Nginx 当应用服务器」。用 Lua 或第三方模块在代理里写复杂逻辑,短期能跑,长期的问题是没人能在本地复现、升级模块困难、错误堆栈难看。代理的定位是转发,不是执行。
一套最小可用配置
下面这份配置只做四件事:限制请求体、限制连接、按权重转发、把真实的客户端信息传给后端。本机在 8082 端口跑过权重 5:3:1 的版本,字段都在 Nginx 1.28.0 上生效,改完先 nginx -t 再 reload。
upstream app_pool {
least_conn; # 按当前连接数分配
server 10.0.0.11:8080 weight=5 max_fails=3 fail_timeout=10s;
server 10.0.0.12:8080 weight=5 max_fails=3 fail_timeout=10s;
server 10.0.0.13:8080 weight=3 max_fails=3 fail_timeout=10s;
keepalive 32; # 与后端保持长连接
}
server {
listen 443 ssl;
server_name shop.example.com;
client_max_body_size 20m;
limit_conn per_ip 20; # 单 IP 并发连接上限
location / {
proxy_pass http://app_pool;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 3s;
proxy_read_timeout 30s;
proxy_next_upstream error timeout http_502;
}
}
几个取舍值得说明。max_fails=3 加 fail_timeout=10s 的意思是十秒内失败三次就暂时摘除,十秒后再试。这个机制很粗糙:它按连接失败计,不区分「后端真的挂了」和「后端只是慢」。如果后端偶发超时,可能被误摘,流量全压到剩下的机器,然后剩下的也被压垮,形成连锁。生产上要么把阈值调得保守,要么用主动健康检查(需要额外模块或独立探活)。
proxy_next_upstream 打开重试也要小心。对 GET 请求重试通常安全;对 POST 请求重试可能造成重复下单。默认配置里重试只针对连接错误,不针对超时,这是有意的保守。要开超时重试,先确认后端接口幂等。
keepalive 32 是与后端的长连接数,不是客户端连接数。它能减少反复建连的开销,但如果后端不支持长连接,或中间有设备会掐连接,反而会出现「连接已失效但代理还在复用」的怪问题。上线后要看后端的连接重置计数。
怎么验证:命令与成功判据
配置改完先做语法检查,再看实际转发是否符合预期。下面命令在本机 8081 到 8084 端口全部跑过,输出照录。
# 1. 语法检查,成功输出 syntax is ok / test is successful
nginx -t
# 2. 平滑重载,不断已有连接
nginx -s reload
# 3. 看代理是否真的在监听
ss -lntp | grep ':443'
# 4. 直接请求代理入口,看响应码与耗时
curl -s -o /dev/null -w '%{http_code} %{time_total}\n' https://shop.example.com/health
# 5. 连续请求二十次,确认后端分布
for i in $(seq 1 20); do
curl -s -D - -o /dev/null https://shop.example.com/whoami | grep -i 'x-upstream'
done | sort | uniq -c
# 6. 观察错误日志里的上游失败
tail -f /var/log/nginx/error.log | grep -E 'upstream|connect() failed'
# 本机实际输出(Windows 11,Nginx 1.28.0)
E:\tools\nginx-docs> nginx -t
nginx: the configuration file C:/tools/nginx-docs/conf/nginx.conf syntax is ok
nginx: configuration file C:/tools/nginx-docs/conf/nginx.conf test is successful
# 8081 轮询 20 次:9101=7 9102=7 9103=6
# 8082 权重 5:3:1 跑 27 次:9101=15 9102=9 9103=3
# 8083 ip_hash 跑 20 次:9101=0 9102=0 9103=20
# 8084 故障转移:杀掉 9103 后连续 10 次全部 200
X-Upstream: 127.0.0.1:9103, 127.0.0.1:9101
# error.log 同时出现:
upstream server temporarily disabled while connecting to upstream
# 8085 读超时:后端故意延迟 3s,proxy_read_timeout 2s
HTTP/1.1 504 Gateway Time-out time_total: 6.042
# error.log 对三台后端各记一次:
upstream timed out (10060: A connection attempt failed because the connected party did not properly respond...)
# 三台全停时返回 502,耗时 6.114s
# 8086:gzip 与静态缓存
GET /big 未压缩 20000 字节;加 --compressed 后 89 字节,Content-Encoding: gzip
GET /static/app.css -> Content-Length: 2019, ETag: "6aee8d82-7e3"
Cache-Control: max-age=86400,Expires 为次日
带 If-None-Match 再请求 -> 304 Not Modified
什么算成功:语法检查返回成功;重载后旧连接不被强制断开;健康检查接口稳定返回 200;二十次请求按权重分布到三台后端,没有一台为 0;错误日志在空闲时段没有新增 upstream 错误。若压测时错误日志开始出现 connect() failed,先别调代理参数,去看后端的连接队列和线程池。
还要验证「摘除」行为:手动停掉一台后端,观察请求是否在十秒内不再打到它,用户侧错误率是否只在切换瞬间抖动。这个演练比看配置有用,因为真实故障时你只有一次机会。
再看一个容易漏的指标:代理自己的连接数。用 ss -s 看总的 TCP 连接,用 ss -lnt 看监听队列是否溢出。代理机器文件句柄打满时,表现是「随机拒绝新连接」,和上游故障很像。
边界与代价
加一层代理,就多一个故障点、多一跳延迟、多一份要维护的配置。代理机本身要做冗余,至少两台加一个浮动地址,否则它挂了全站就挂。两台代理之间的配置要能同步,证书要能一起轮换,这又是一套流程。
代理层的健康检查有滞后。被摘除的后端恢复后,要等一个探测周期才重新接流量;这段时间容量是打折的。流量突增时,这个折扣可能刚好把剩余机器压垮。所以容量规划要按「少一台」来算,不是按满员算。
一致性哈希的偏斜是长期存在的。虚拟节点能缓解,但不能消除。对缓存后端,偏斜意味着某台内存先满、先淘汰,命中率下降;对分片存储,偏斜意味着某个分片先到容量上限。上一致性哈希前要先算最坏情况,而不是看平均值。
最后是观测成本。代理日志量很大,全量开 debug 会迅速写满磁盘。合理的做法是正常请求只记状态码、耗时、上游地址,错误请求才记详细信息;并按天轮转、限制保留天数。
当天能自验的五个练习
一,用 Node 或 Python 起三个监听不同端口的服务,各自返回自己的端口号,然后在前面放一个轮询代理(没有 Nginx 可以用 Node 写二十行转发),连续请求三十次,统计每个端口收到的次数。成功判据:三次一组循环,计数接近相等。
二,把其中一台服务人为加 50 毫秒延迟,重复上面的请求,观察轮询是否把请求堆到慢的那台。再把策略改成最少连接,看分布是否自动向快机器倾斜。这个对比能让你直观看到「算法假设」的重要性。
三,用本机脚本复现一致性哈希的扩容搬家比例:五台扩六台,统计键换了后端的比例。成功判据:结果接近 12% 到 17% 之间,而不是 80% 以上。这个练习只需要几十行代码,但能让你以后看别人架构图时不被「一致性哈希」四个字唬住。
四,故意让一台后端拒绝连接(直接关掉进程),请求代理入口,观察返回码从 200 变成 502 再恢复的过程,同时记录从关掉到代理不再转发给它的时间。成功判据:能说出「摘除时间和恢复时间分别是多少」,而不是只知道「会报错」。
五,给代理加一条只记录上游地址和耗时的日志格式,压一百个并发请求,统计每台后端的请求数和平均耗时。成功判据:能画出一张分布表,并解释偏斜是算法造成的还是后端能力造成的。
和下一篇的关系
反向代理解决的是「请求怎么均匀地送到计算层」,它不管数据。可请求到了应用之后,绝大多数读操作会先去问缓存。下一篇讲缓存中间件:Redis 该放在哪一层、命中率怎么算、穿透击穿雪崩分别是什么样子,以及为什么「加个缓存」有时反而让数据库更忙。
先把这一篇的链路图记住:DNS、连接、代理、应用、数据层。后面每一篇中间件,都是在其中某一层上加一个组件,也都是在某一层上多一个故障点。