一个内容社区把用户头像、文章配图都存在应用服务器的本地磁盘,用 Nginx 直接对外提供。用户量上来后,磁盘先满了一次,运维把图片迁移到新机器,旧图片的链接全部 404。后来加了两台图片服务器,Nginx 按路径分片,但每次扩容都要搬数据,链接还得保持不变。最后上了对象存储和 CDN,图片访问不再走应用,磁盘和带宽都降下来了。

这个过程中的每一步都很常见:文件存在哪、怎么对外提供、扩容时怎么不丢链接、热点文件怎么不把带宽吃光。分开看是四个问题,合起来其实是同一个:把「文件」和「应用」解耦,把「分发」和「存储」分开。

这篇先讲文件该放哪,再讲 CDN 的命中率是怎么被决定的,最后给出回源和缓存键的配置与验证方法。对象存储和 CDN 都需要公网域名与边缘节点,本机只有一台机器,无法真实搭建,相关配置与命令保留「未实测」并写明原因;缓存头与 304 用本机 Nginx 1.28.0 做了替代实验;命中率、回源量数字来自本机模型。

先认出现象:文件放错地方,问题会一直跟着

文件和数据库不一样,它的体积大、访问模式集中、生命周期长。放错位置,问题不会立刻爆,但会随着数据量一起长大。

现象真实原因第一步查什么
应用服务器磁盘持续增长,最后写满上传文件落在本地磁盘,没有外置存储看上传目录大小与增长速率,确认是否有清理策略
扩容后旧文件访问 404文件只存在某台机器,新实例没有这份数据确认文件路径是否绑定实例本地磁盘
图片访问把应用带宽打满静态文件与应用接口共用带宽和连接看出口带宽与图片请求占比
CDN 命中率长期低于五成缓存键包含随机参数,或对象生命周期太短看缓存键规则与 URL 里的查询参数
回源请求量在高峰时翻倍缓存容量不足,热点对象被频繁淘汰看边缘节点容量与淘汰率
更新图片后用户仍看到旧图CDN 和浏览器都缓存了旧版本,URL 没变看响应头缓存时间与是否使用版本化文件名
私有文件被公开访问对象存储桶权限设置过宽,或签名 URL 有效期过长检查桶策略与签名过期时间
大文件下载频繁中断未开启分片下载,或回源超时太短看是否支持范围请求与超时配置

文件该放哪

先给结论:用户上传的、需要长期保存的、会被多次访问的文件,放对象存储;应用自己的配置和小图标,可以随代码发布;临时文件和缓存,放本地磁盘并定期清理;数据库只存文件的元数据和地址,不存文件内容。

对象存储

按对象存,天然支持海量文件、按 URL 访问、生命周期清理、跨区域复制。适合用户上传、图片、视频、备份。代价是外部依赖、按量计费、权限模型要配好。

应用本地磁盘

读写快、部署简单、不依赖外部服务。适合临时文件、生成中的中间产物、可以重建的缓存。不适合用户上传,因为扩容会丢、备份困难、多实例不一致。

把文件内容存进数据库是最常见的错误之一。数据库的行存适合结构化数据,存二进制大对象会让备份变大、查询变慢、复制变重。正确做法是文件进对象存储,数据库存路径、大小、类型、哈希、归属。这样迁移存储时只改地址,不动业务表结构。

对象存储的「桶」是顶层容器,里面的「对象」由键唯一标识。键的设计要像文件路径,比如按日期和业务分目录,便于生命周期管理和批量操作。不要把用户 ID 直接拼进公开 URL,那等于把内部标识暴露出去。

大文件还要考虑分片上传和断点续传。一次传几个 GB 的文件,网络一断就得从头来,用户体验很差。分片上传把文件切成块、并行传、失败重传单块;下载侧用范围请求支持断点续传。这些能力对象存储通常都有,但要在客户端接上,不能只靠「上传按钮」。

CDN 命中率由什么决定

CDN 的本质是在离用户近的地方放一份副本。用户请求先到边缘节点,节点有这份文件就直接返回,这叫命中;没有就去源站取,这叫回源。命中率越高,源站压力越小、用户越快。

命中率由三件事决定:对象的热度分布、边缘节点的容量、缓存键的稳定性。热度分布是业务决定的,容量是钱决定的,缓存键是配置决定的。三件事里,配置最容易出错,也最容易改。

本机模型按真实内容访问的长尾分布算了一次:前百分之一的对象,也就是一百个,承接了 59.0% 的请求。这意味着缓存少量热点对象就能挡住大部分流量。但剩下的请求分散在大量冷门对象上,容量不够时,这些对象会不断把热点对象挤出去。

前 1% 对象(100 个)承接 59.0% 的请求

容量与命中率的关系也很直接。同样一百万请求每小时,边缘能存五十个对象时命中率 37.48%,回源 62.52 万次;存两百个时命中率 54.13%,回源 45.87 万次;存一千个时命中率 72.90%,回源 27.10 万次。按每个对象 200KB 算,回源流量分别是 119.2GB、87.5GB、51.7GB。

容量 50 对象:命中率 37.48%,回源 62.52 万次/小时,119.2 GB
容量 200 对象:命中率 54.13%,回源 45.87 万次/小时,87.5 GB
容量 1000 对象:命中率 72.90%,回源 27.10 万次/小时,51.7 GB

这组数字说明:容量从五十加到两百,命中率涨了十六个百分点;从两百加到一千,又涨了十九个百分点,但回源只降了十八万次。边际收益在下降。容量该设多大,要看「回源带宽成本」和「边缘存储成本」哪个更贵,不是越大越好。

发布新内容时可以主动预热:把热点文件提前推到边缘节点,避免上线瞬间全部回源。预热适合可预测的热点,比如活动页、新版本安装包;对长尾内容,预热成本高、收益低,不如让缓存自然填充。

缓存键:一个查询参数能毁掉一半命中率

CDN 判断「这是不是同一个对象」,靠的是缓存键。默认情况下,整个 URL 就是缓存键,包括查询参数。同一个图片加不同的跟踪参数,在 CDN 看来就是不同对象,各存一份,各回源一次。

本机模型里,同一个对象带五种不同的查询参数,容量两百时命中率从 54.13% 降到 34.74%。请求量没变,对象没变,只是 URL 多了参数,缓存就被打散了。

同样容量 200,URL 带 5 种查询参数:
命中率 54.13% 降到 34.74%

解法是配置缓存键,忽略与内容无关的参数。比如只保留真正影响内容的参数,把跟踪参数、时间戳、随机数排除掉。但要注意,如果参数确实影响内容,比如图片的宽高、格式、版本,就不能忽略,否则会返回错误的对象。

更稳的做法是「版本化文件名」:文件内容变了就换文件名,比如在文件名里带内容哈希。这样 URL 永远指向固定内容,可以设很长的缓存时间,更新时新文件新 URL,旧文件自然过期。这是静态资源缓存的通用做法。

还要区分「公开可缓存」和「私有不可缓存」。带用户身份的内容不能放公共 CDN,否则会串号。私有内容要么走签名 URL,要么不经过共享缓存。

压缩也会影响缓存。同一个 URL,客户端支持 gzip 和不支持 gzip 时,应该返回不同内容,缓存要按 Accept-Encoding 区分。如果 CDN 忽略这个请求头,可能把压缩版发给不支持的客户端。这类问题通常靠 Vary 头或缓存键里的编码维度解决,配置前要确认 CDN 的行为。

回源怎么设才不会被自己打挂

回源是 CDN 到源站取文件。回源配置不当,会出现「缓存没命中,所有请求同时回源,源站被打满」的情况,和缓存雪崩是同一种病。

第一,回源要有超时和重试上限。源站慢时,CDN 等太久会占住连接;重试太多会把源站压力翻倍。第二,回源要能合并相同请求,同一个对象同时有大量未命中时,只放一个请求回源,其余等待。第三,回源带宽要有限制,别让 CDN 把源站出口打满。

源站侧的响应头决定 CDN 怎么缓存。缓存时间太短,命中率上不去;太长,更新后用户看到旧内容。常见做法是:内容不变的资源设很长,比如一年;会变的资源设较短,比如几分钟,并用版本化文件名解决更新问题。

对象存储作为源站时,还要注意它的响应头。默认的缓存时间可能不符合预期,需要在桶配置或 CDN 规则里覆盖。文件的 Content-Type 也要设对,否则浏览器会按错误类型处理。

如果源站是私有桶,CDN 回源时要带鉴权。常见做法是给 CDN 一个专用的回源身份,只允许它读特定前缀,而不是把桶设为公开。回源鉴权的密钥要能轮换,泄露后能快速失效。

不要给「带用户身份」的接口开公共 CDN 缓存。CDN 按 URL 缓存,不认 Cookie 里的用户;一个用户的内容被缓存后,可能被另一个用户拿到。

什么时候不该上 CDN

用户集中在同一个区域、源站带宽足够、文件访问量不大时,CDN 的收益有限。它带来的成本是:多一个外部依赖、多一套缓存规则、多一份故障排查路径。

内容更新极其频繁、且无法版本化时,CDN 会让你一直处理「缓存多久」的取舍。比如实时行情、频繁编辑的文档,缓存时间短到没有意义,长到会出错。

私有内容、需要严格权限控制的内容,不要走公共 CDN。签名 URL 能解决一部分,但签名泄露、过期时间设置不当,都会变成安全问题。

团队没有能力排查「为什么这个文件没更新」时,先别上。CDN 的问题往往跨了浏览器、边缘节点、源站三层,没有日志和缓存状态头,很难定位。

如果只是想让静态文件不占应用带宽,对象存储自带的加速域名往往够用,不一定要再套一层 CDN。等用户分布变广、访问量变大,再上 CDN 也不迟。基础设施可以分步加,不必一次到位。

关键配置样例

下面配置按常见对象存储与 CDN 的语义书写。要搭起对象存储和边缘节点需要公网域名与第二台机器,本机不具备,故未实测。

# 对象存储:桶策略只允许读公开前缀,私有前缀走签名(未实测)
{
  "Version": "2012-10-17",
  "Statement": [
    { "Effect": "Allow", "Principal": "*",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::static-bucket/public/*" }
  ]
}

# 上传时设置内容类型与长缓存(未实测)
aws s3 cp logo.png s3://static-bucket/public/logo-v3.png \
  --content-type image/png \
  --cache-control "public, max-age=31536000, immutable"

# CDN 缓存键:忽略跟踪参数,只保留影响内容的参数(未实测)
cache_key:
  query_string:
    include: ["w", "h", "format", "v"]
    exclude: ["utm_source", "utm_campaign", "timestamp"]

# 回源:超时、重试、并发合并(未实测)
origin:
  connect_timeout: 3s
  read_timeout: 10s
  max_retries: 1
  collapse_concurrent: true
  bandwidth_limit: 200Mbps

「immutable」告诉浏览器和 CDN 这个 URL 的内容永不改变,可以放心长缓存。前提是文件名真的带版本,内容一变就换名。没有版本化却写 immutable,等于让用户永远看不到更新。

回源并发合并(collapse)能把「同时到达的相同未命中」合并成一次回源。它对热点对象刚过期、或新文件刚上线时的回源尖峰特别有效,但要确认 CDN 供应商支持这个能力。

怎么验证:命令与成功判据

下面命令用于确认「缓存有没有命中、缓存了多久、回源是谁」。CDN 部分需要公网域名,本机无法实测;缓存头与条件请求用本地 Nginx 做了等价验证,输出照录。

# 1. 看响应头里的缓存状态与年龄
curl -sI https://cdn.example.com/img/logo-v3.png | \
  grep -Ei 'cache-control|age|x-cache|etag|content-type'

# 2. 连续请求两次,确认第二次命中
curl -sI https://cdn.example.com/img/logo-v3.png | grep -i age
curl -sI https://cdn.example.com/img/logo-v3.png | grep -i age

# 3. 带不同查询参数,确认缓存键是否被打散
curl -sI 'https://cdn.example.com/img/logo-v3.png?utm_source=a' | grep -i x-cache
curl -sI 'https://cdn.example.com/img/logo-v3.png?utm_source=b' | grep -i x-cache

# 4. 检查对象存储对象的元数据
aws s3api head-object --bucket static-bucket --key public/logo-v3.png

# 5. 看回源流量与命中率(按供应商控制台或 API 调整)
# 关注 cache_hit_ratio、origin_traffic、origin_latency 三个指标
# 本机替代实验:静态资源的缓存头(Nginx 1.28.0,端口 8086)
HTTP/1.1 200 OK
Content-Length: 2019
Last-Modified: Sat, 07 Nov 2026 02:31:30 GMT
ETag: "6aee8d82-7e3"
Cache-Control: max-age=86400
Expires: Sun, 08 Nov 2026 02:34:22 GMT

# 带 If-None-Match 再请求:
HTTP/1.1 304 Not Modified

这组头说明长缓存和条件请求在源站侧是成立的;CDN 是否命中、Age 是否递增,仍然只能在真 CDN 上看。对象存储的桶策略、签名 URL 也只能在真账号里用无权限身份试一次,本机无法替代。

成功判据:第二次请求的 Age 头大于零,缓存状态显示命中;不同跟踪参数返回相同的缓存状态,说明缓存键已忽略无关参数;Content-Type 正确;对象存储的 Cache-Control 与 CDN 规则一致;回源流量在业务增长时没有同比例增长。

还要验证「更新后能不能拿到新文件」。发布一个新版本,确认新 URL 立即可用、旧 URL 按预期过期。这个演练能暴露「缓存时间设太长又没版本化」的问题。

各家 CDN 表示缓存状态的响应头不一样,有的用 X-Cache,有的用 CF-Cache-Status,有的只在日志里给。排查前先确认你用的那家看哪个字段,别拿一个不存在的头去 grep,然后得出「没有命中」的错误结论。

边界与代价

对象存储是外部依赖。它挂了,上传和下载都受影响;它的网络抖动,会直接变成用户等待。要有降级方案,比如上传失败时本地暂存并重试,下载失败时返回占位图。

CDN 的成本按流量算。命中率低意味着回源多,回源流量通常比边缘流量贵;缓存键设计不当,会让成本成倍增长。上线前要按「请求量乘以对象大小乘以未命中率」估算,而不是只看单价。

数据一致性也要考虑。文件删除后,CDN 边缘可能还有副本,直到缓存过期。涉及合规删除时,要主动刷新缓存,不能只删源站。

最后是权限。对象存储的桶策略、签名 URL、CDN 的回源鉴权,三者配错一个就可能泄露数据。上线前要用「无权限身份」实际访问一次,确认该拒绝的被拒绝。

生命周期规则能省钱,但要小心误删。比如「三十天后删除临时目录」,如果某个正式文件被放进了临时目录,到期就没了。规则上线前先用「只标记不删除」的方式跑一段时间,确认命中的对象都是该删的,再开真删。

当天能自验的五个练习

一,用本机脚本模拟长尾访问:生成一千个对象、按热度分布请求,给不同缓存容量,统计命中率与回源次数。成功判据:结果与本文的容量曲线同一量级。

二,给同一个对象加五种查询参数,重复上面的模拟,观察命中率下降。成功判据:能说出「缓存键包含哪些参数」以及去掉哪些参数是安全的。

三,算一次回源流量账:请求量、对象大小、未命中率、单价,算出每小时成本。成功判据:能比较「扩边缘容量」和「接受回源」哪个更划算。

四,用 curl 检查任意公开静态资源的响应头,记录 Cache-Control、Age、ETag。成功判据:能判断它是否可缓存、缓存了多久、是否版本化。

五,写一份文件存放规范:哪些进对象存储、哪些进本地、哪些进数据库,各自的清理和备份策略。成功判据:每一类文件都有明确归属,没有「先放本地以后再说」。

和下一篇的关系

文件解决「存和分发」,还有一类工作不在请求链路上,而是按时间触发:对账、报表、清理、同步。下一篇讲定时与任务调度:单机 cron 到分布式调度会踩哪些坑,为什么多实例会把任务重复执行三次,租约和续租怎么设计。

记住这一篇的两个关键词:版本化文件名、缓存键。前者解决更新,后者解决命中率。大部分 CDN 的「玄学问题」,都能追到这两个词上。