压测报告上,单接口、固定参数、缓存全热,单机跑出八百 QPS,平均延迟十几毫秒。评审会开得很顺利,扩容计划按这个数字定了下来。上线之后,真实流量只有报告的三分之一,P99 却直接冲到四百毫秒,数据库连接池先满了,接着应用线程开始排队。
压测没有造假,它只是压了一个和真实流量不像的东西:只压了一个接口、只用了少量热点数据、没有混合读写、没有下游延迟。数字好看,是因为把最难的部分都绕开了。
容量这件事,核心不是「能跑多少 QPS」,而是「在什么样的请求组合、数据规模和下游状态下,还能把尾延迟控制在可接受范围」。这篇讲怎么把压测做得像真实流量,以及怎么从结果里找到真正的瓶颈。
压测最常见的七种「好看数字」
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 报告 QPS 很高,线上 P99 爆掉 | 只压了单接口、缓存全热,没有混合场景 | 对比压测请求分布与线上真实分布 |
| 并发加上去,吞吐不涨、延迟线性涨 | 系统已经饱和,多出来的并发只是在排队 | 同时看吞吐、延迟和资源利用率三条曲线 |
| 压测时 CPU 很低,却压不上去 | 瓶颈在下游、锁、连接池或磁盘 IO,不在应用 CPU | 查下游延迟、线程等待、连接池占用 |
| 短时间压测正常,持续一小时就崩 | 内存泄漏、连接泄漏、日志写满、缓存逐渐失效 | 做至少一小时的长稳压测,看内存和连接数曲线 |
| 压测环境很好,生产环境差很多 | 数据量、机器规格、网络、依赖配置不同 | 对比两边的数据量、实例规格和依赖地址 |
| 单机数字好看,集群扩容后总容量不增 | 共享的下游或锁成了全局瓶颈 | 查数据库、缓存、消息队列的容量上限 |
| 压测通过,发布后容量下降 | 新版本多了同步调用、日志或序列化开销 | 对比发布前后的同场景压测结果 |
这七条的共同点是:压测测出来的不是「系统能力」,而是「这套压测脚本能跑多快」。脚本绕开的部分,恰好是线上最容易出问题的部分。
压测要看四类指标,不能只看 QPS
四个指标要一起看。只报 QPS,等于只报了「发动机转速」,没报「车有没有散架」。评审时至少要有一张图,横轴是并发或到达率,纵轴同时画出吞吐、P99 和资源利用率。三条曲线的拐点,才是系统的真实容量。
错误率不能只统计 5xx。超时、连接被拒、业务返回「系统繁忙」、重试后成功,都算容量不足的信号。一个系统在 99% 成功率下跑到每秒五百,和 95% 成功率下跑到每秒六百,后者看起来吞吐更高,实际有效处理更少。把错误率乘进吞吐,才是有效吞吐。
吞吐和延迟为什么必须一起看
先看一组本机实测。服务固定八个工作槽,每次处理二十毫秒,队列不设上限;客户端分别用二十四和九十六个并发打过去。
# 本机 Node 24 实测,480 个请求
并发 24 | 样本 480 | 用时 1.88s | 吞吐 255 req/s | p50 93.0ms | p95 99.4ms | p99 113.5ms | max 114.1ms
并发 96 | 样本 480 | 用时 1.89s | 吞吐 254 req/s | p50 371.8ms | p95 377.1ms | p99 398.2ms | max 398.5ms
并发从二十四加到九十六,吞吐几乎没变,延迟涨了四倍。这说明系统在二十四并发时就已经饱和,后面加的并发全部堆在队列里。多出来的请求没有让系统更快,只是让每个请求等得更久。
这就是排队的基本规律:当到达速度超过处理速度,队列会一直涨,延迟没有上限。很多人看到「加并发吞吐不涨」就去加机器,但如果瓶颈是下游或锁,加机器只会让更多请求同时挤进同一个瓶颈。
另一个规律是利特尔法则:系统中的请求数等于到达率乘以平均停留时间。反过来说,在并发固定的情况下,延迟上升意味着能处理的请求数下降。用它做粗算很方便:八个工作槽、每次二十毫秒,理论上限是每秒四百个;实测只有二百五十五,说明实际服务时间包含了额外开销,理论值不能直接当容量。
还要先定义「饱和点」。常用标准有三个:吞吐不再随并发增长、P99 超过业务上限、资源利用率超过安全水位。三个条件满足任意两个,就可以判定饱和。没有定义的饱和点,每个人看同一张图会得出不同结论,扩容计划永远谈不拢。
压测场景要像真实流量
真实流量不是一个接口的循环。它有读写比例、有热门和冷门数据、有重试、有不同终端、有突发峰值。压测脚本要尽量还原这些特征,至少还原影响最大的那几个。
接口比例。按线上真实调用比例混合,不要只压下单接口。下单会触发库存、支付、消息,单压下单等于把下游压力藏起来。比例可以来自网关日志,按路径统计。
数据分布。用真实规模的数据,并且包含冷数据。只在几十万行的小表上压,索引全在内存,测不出磁盘 IO 和慢查询。数据量至少要接近生产的一个量级,否则执行计划都可能不同。
读写比例。纯读压测很容易好看,因为缓存和从库都能分担。真实业务往往读写混合,写会带来锁、日志、复制和缓存失效。比例按业务实际来,不要为了方便只压读。
并发模型。用固定并发还是固定到达率,结果不同。固定并发会随着延迟上升自动降低发送速度,掩盖排队;固定到达率更接近真实用户,能压出队列崩溃。两种都做一次,心里才有数。
下游状态。真实下游会有延迟抖动和偶发超时。压测时如果所有依赖都是理想状态,应用看起来很快,线上的超时重试会把压力放大几倍。至少给下游加一点随机延迟,观察重试和熔断是否按预期工作。
持续时间。短跑看峰值,长跑看稳定性。内存泄漏、连接泄漏、日志堆积、缓存逐渐失效,都要跑够时间才会出现。关键系统至少压一小时,观察资源曲线是否缓慢上升。
压测数据也要准备。用户 ID、商品 ID、查询条件不能全用同一个值,否则缓存命中率会虚高,数据库压力会虚低。用一批随机但稳定的数据,覆盖热点和冷门;需要写操作时,提前准备好可重复使用的测试账号和幂等键,避免压测把测试数据写坏。
如果条件允许,做一次「阶梯式加压」:每两分钟把到达率提高一档,观察每一步的吞吐、延迟和资源变化。阶梯曲线比单点数字更能说明系统在哪个区间开始变差,也更容易找到拐点。
怎么从结果里找瓶颈
压测的价值不在「跑出一个数字」,而在「找到第一个撑不住的地方」。方法可以按资源类型逐个排除。
先排除「压测工具自己先撑不住」。发压机器 CPU 打满、客户端连接数上限、本地端口耗尽、压测脚本同步写日志,都会让结果失真。判断方法很简单:换一台更强的发压机,或者把并发分散到多台,如果吞吐突然变高,说明之前压的是发压端而不是被测系统。
先看应用自身。CPU 打满,通常是计算密集或序列化开销;CPU 不高但吞吐上不去,通常是线程在等锁、等连接、等下游。线程栈和等待时间比 CPU 更能说明问题。
再看连接池。数据库连接池、HTTP 客户端连接池、Redis 连接池,任何一个满了都会让请求排队。池子上限往往设得很随意,压测时才会暴露。连接池满和下游慢经常同时出现,要区分是「池子太小」还是「下游太慢」。
再看下游。数据库慢查询、锁等待、缓存命中率下降、消息队列积压,都会让应用侧看起来「什么都没干却很慢」。把下游的延迟和错误率单独画出来,才能知道瓶颈是不是不在应用。
最后看系统和网络。磁盘 IO 打满、网络带宽跑满、文件描述符耗尽、GC 停顿,都会在压测后期出现。它们往往不是线性增长,而是在某个点突然恶化,容易在短跑里被漏掉。
排查要有顺序,不能同时改五个参数。先确认「瓶颈在哪一层」,再确认「为什么这一层撑不住」,最后才调整。比如发现数据库连接池满了,先看是池子太小,还是每条 SQL 太慢;如果是 SQL 慢,加连接池只会让更多慢查询同时压在数据库上,情况更糟。
应用侧的线程栈是很好用的证据。压测过程中抓几次线程栈,看线程都停在什么方法上:停在 socket read,多半是下游慢;停在锁获取,多半是竞争;停在连接池借还,多半是池子或连接泄漏。几张栈一对比,比看监控猜得快。
从压测数字到容量规划
压测给出的是「单实例在某个场景下的上限」,容量规划要在这个基础上做减法,而不是直接乘以机器数。
| 步骤 | 要算的东西 | 常见错误 |
|---|---|---|
| 确定目标峰值 | 日常峰值乘以增长系数,再考虑活动峰值 | 只按平均值扩容 |
| 扣除安全余量 | 单机只用到容量的六到七成,留出故障切换空间 | 按压测上限直接排机器 |
| 按瓶颈扩容 | 应用、数据库、缓存、带宽分别算,取最小那个 | 只扩应用,下游先崩 |
| 验证冗余 | 挂掉一台后,剩余实例是否仍在安全水位 | 按 N 台算容量,却按 N-1 台运行 |
| 定期复测 | 版本、数据量、依赖变化后重新压测 | 一次压测用一年 |
最容易被忽略的是「故障时的容量」。平时十台机器跑到六成,挂一台后剩余九台要跑到接近七成,还能撑住;如果平时就跑到八成,挂一台后直接过载。高可用里的容量余量,本质上是为了故障切换准备的,不是为了好看。
单实例上限不能直接乘机器数。应用层可以近似线性,但数据库、缓存、消息队列往往不是。十台应用连一个数据库,应用再多,数据库的连接数和写入能力仍是天花板。容量规划要按木桶的最短板算,而不是按机器最多的那一层算。
扩容步长也要考虑。一次加太多机器,数据库连接数和下游压力会同步上涨;一次加太少,又赶不上流量增长。按瓶颈资源的增长曲线来定步长,比按机器数量拍脑袋靠谱。
扩容之后要复测。加了机器不等于容量按比例增加,共享的下游可能先把新增容量吃掉。复测时重点看「总吞吐是否真的涨了、下游是否出现新瓶颈、故障切换后是否仍在安全水位」。
边界与代价
压测环境永远不完全等于生产。数据量、机器规格、网络拓扑、依赖版本都可能有差异。压测结果要当作「下界参考」,再结合线上的真实监控修正。不要把压测数字当成承诺。
压测本身有风险。在生产环境压测,可能打满数据库、触发限流、影响真实用户。全链路压测要做流量染色、影子表、隔离的下游,成本很高。没有这套设施,就在预发环境压,并用线上监控校准。
缓存会让数字虚高。压测通常从冷缓存开始,跑几分钟后全热,后面的数字比前面好看很多。要分别记录冷启动和稳定态,冷启动那一段往往才是故障恢复时的真实表现。
不要为了数字调参。把超时调大、把连接池调大、把限流关掉,压测数字会变好,但线上只是把崩溃推迟。参数要按真实约束来定,压测是用来发现约束的,不是用来绕过约束的。
容量不是无限的。再多的机器也扛不住无上限的流量,限流和降级是容量规划的一部分。知道系统在多少流量时该拒绝,比知道它最大能跑多少更重要。
压测和线上监控要互相校准。压测给出一个参考区间,线上监控告诉你真实区间。两者差得远时,先找差异原因,不要直接相信其中一个。长期看,把线上的延迟、吞吐、错误率按版本和场景留档,比一年一次的压测报告更有价值。
结论要带边界条件。同一个系统,在数据量翻倍、下游变慢、缓存命中率下降之后,容量会明显缩水。写报告时把场景、数据规模、依赖状态、实例规格一起记下来,否则半年后没人知道这个数字还能不能信,也没人能复现。数字脱离条件,就只是一句口号。
当天可以自验的五件事
- 把最近一次压测报告翻出来,确认它是否记录了 P99、错误率和资源利用率;只有 QPS 的,重做。
- 用固定到达率和固定并发各压一次同一个接口,对比吞吐与尾延迟的差异。
- 给下游人为加 50ms 延迟,观察应用侧 P99 和超时重试的变化,确认熔断和限流是否生效。
- 检查连接池上限与实际并发是否匹配,分别压到池子满和不满两种情况,记录表现。
- 按「挂掉一台后剩余实例仍在安全水位」反算一次容量,看看当前机器数够不够。
下一篇讲故障演练与预案。压测回答「能扛多少」,演练回答「真出事时先做什么」。很多故障不是容量不够,而是值班的人不知道该先看哪里、该先做哪个动作,宝贵的几分钟花在了找入口上。