一块标称 600TBW 的固态(1TB 消费盘常见的量级),装在日志服务器上跑了两年。监控显示主机总共写了 200TB,按这个数字算,寿命才用掉三分之一,应该还剩很多。可是厂商工具里的健康度掉得远比线性预期快,SMART 里的 NAND 写入量也远远超过 200TB。监控和盘自己的账,对不上。
这不是监控算错了,也不是盘在虚报。主机写的 200TB 是「逻辑写入量」,闪存实际承受的是「物理写入量」,中间差的倍数就是写入放大。日志这种小随机写,放大倍数经常在五到十之间,200TB 乘上去,600TBW 的额度确实用得差不多了。
这篇把写入放大拆开:它怎么算、从哪来、为什么小随机写最吃亏、预留空间和 TRIM 能改善多少。中间会给你一个能跑的模拟器,用真实输出看清预留空间和写入模式对放大的影响。注意,那是一个简化模型,不是真实硬盘的测试数据。
先说明条件:本机只有一块日常使用的 512GB NVMe 固态,没有可控的测试夹具,也不具备掉电、写入量标定这些条件。文中真实的数字只有模拟器输出,涉及具体型号、主控、颗粒的结论都标为未在本机实测。
写入放大到底怎么算
公式很简单:写入放大等于闪存实际写入的数据量除以主机请求写入的数据量。主机写 1GB,闪存写 3GB,放大就是 3。反过来,放大为 1 表示一点没浪费,写多少就是多少,但实际几乎做不到。
为什么要关心这个数?因为闪存的寿命按物理擦写算,不按逻辑写入算。颗粒只能擦固定次数,每次擦之前写进去的每一页都消耗寿命。放大越高,同样的主机负载越快把颗粒用光。TBW 这个指标,本质上是厂商用颗粒寿命除以一个假定的放大倍数估出来的保修额度。
放大从哪来?主要是垃圾回收搬移有效页。一个块里有一半是活数据,要擦这个块,就得先把这一半搬到别处,搬的这部分也是写。块里活数据越多,搬得越多。除此之外,小随机写造成半满的块、映射表等元数据更新、磨损均衡搬移、SLC 缓存往 TLC 搬数据,都计入物理写入。
举个数:主机写 200TB,实际放大 8,闪存就承受了 1.6PB 的写入。一块 600TBW 的盘,额度因此在两年里被吃掉大半,健康度掉得比线性预期快,也就说得通了。监控只统计文件系统和块层的逻辑写入,看不到盘内部的搬移,所以两个数字必然对不上,差的倍数正是放大。下面把这条链拆成一步一张图。
一条随机写引发的连锁反应
注意这条链上有个关键点:主机写的是 4KB,但垃圾回收搬的是「一整块里剩下的所有活页」。如果一块有 256 个页,其中 200 个还是活的,为了回收 56 个无效页,要额外写 200 个页。这一进一出,放大就很可观了。
更糟的是小随机写会持续制造这种「大部分是活数据」的块。反过来,大块顺序写会把整块写满,块里的数据要么都还有效,要么整块一起作废,垃圾回收几乎不用搬。这就是顺序写和随机写在寿命上的差别,不只是速度差别。
垃圾回收挑「有效页最少的块」是一种贪心策略:每次都选当下搬得最少的,短期看最划算。但贪心不一定全局最优,真实固件还会考虑块的新旧、擦写次数、冷热数据的分布,甚至故意牺牲一点放大人为保住某些块的寿命。模型里只保留贪心这一条,所以它给出的数字偏乐观。
还有元数据。映射表本身也要落盘,一次逻辑页改动,可能连带更新映射项;表太大放不进 DRAM 时,还要读写表项。这些写入都很小,但次数多,累加起来也占几个百分点。消费盘的放大里,这部分通常不是主项,却很难完全避免。
写一个能跑的模拟器
真实固态的固件是黑盒,测不了内部账本。但可以把机制抽象出来,用一个小模型看趋势:把盘分成固定大小的块,每块若干页;主机按逻辑地址随机写;空闲页不够时,挑一个有效页最少的块,把它的活页搬走再擦掉;统计主机写入和物理写入。
import random
PAGE = 4096
BLOCK_PAGES = 256 # 1MB per block
LOGICAL_PAGES = 64 * 1024 # 256MB logical space
HOST_WRITES = 300000 # about 1.2GB of host writes
class Ssd:
def __init__(self, op_ratio, seed=7):
self.rng = random.Random(seed)
blocks = int(LOGICAL_PAGES * (1 + op_ratio) // BLOCK_PAGES)
self.blocks = blocks
self.phys = blocks * BLOCK_PAGES
self.map = [-1] * LOGICAL_PAGES
self.owner = [-1] * self.phys
self.valid = [0] * self.phys
self.vcount = [0] * self.blocks
self.active = [False] * self.blocks
self.free, self.infree = [], [False] * self.phys
for l in range(LOGICAL_PAGES): # 初始顺序占满
p = l
self.map[l] = p
self.owner[p] = l
self.valid[p] = 1
self.vcount[p // BLOCK_PAGES] += 1
self.active[p // BLOCK_PAGES] = True
for p in range(LOGICAL_PAGES, self.phys):
self.free.append(p); self.infree[p] = True
self.rng.shuffle(self.free)
self.host = self.nand = self.copies = self.erases = 0
def _gc(self):
victim = min((b for b in range(self.blocks) if self.active[b]),
key=lambda b: self.vcount[b])
base = victim * BLOCK_PAGES
self.free = [p for p in self.free if p // BLOCK_PAGES != victim]
for p in range(base, base + BLOCK_PAGES):
self.infree[p] = False
for p in range(base, base + BLOCK_PAGES):
if self.valid[p]:
dst = self.free.pop()
l = self.owner[p]
self.valid[p] = 0
self.valid[dst] = 1
self.owner[dst] = l
self.map[l] = dst
self.vcount[dst // BLOCK_PAGES] += 1
self.active[dst // BLOCK_PAGES] = True
self.vcount[victim] -= 1
self.nand += 1
self.copies += 1
self.vcount[victim] = 0
self.active[victim] = False
for p in range(base, base + BLOCK_PAGES):
if not self.infree[p]:
self.infree[p] = True
self.free.append(p)
self.erases += 1
def write(self, l):
while len(self.free) < 2 * BLOCK_PAGES:
self._gc()
p = self.free.pop()
old = self.map[l]
if old >= 0:
self.valid[old] = 0
self.vcount[old // BLOCK_PAGES] -= 1
self.map[l] = p
self.owner[p] = l
self.valid[p] = 1
self.vcount[p // BLOCK_PAGES] += 1
self.active[p // BLOCK_PAGES] = True
self.host += 1
self.nand += 1
def run(self, mode="random"):
pos = 0
for _ in range(HOST_WRITES):
if mode == "random":
self.write(self.rng.randrange(LOGICAL_PAGES))
else:
self.write(pos)
pos = (pos + 1) % LOGICAL_PAGES
return self.nand / self.host
模型假设固定大小的块、贪心选择有效页最少的块、忽略元数据和缓存搬移、只统计页级别的写入。这些简化会让结果偏乐观,但趋势是可靠的:预留空间越大,垃圾回收越从容,放大越低;写入越随机,放大越高。跑四个预留空间比例,再加一个顺序写的对照组:
参数是按消费盘的常见量级设的:256MB 逻辑空间、1MB 的块、4KB 的页,相当于一块小容量的盘;7% 的预留空间接近消费盘出厂水平,28% 接近企业盘。主机写 30 万页,约 1.2GB,足够让盘进入稳态,又不至于跑太久。
把脚本存成 wa_sim.py,用 python wa_sim.py 直接跑,不需要任何第三方库。跑完大概几十秒,输出就是下面这两张表。如果想看别的比例,改循环里那个元组即可。
print("OP host writes NAND writes GC copies erases WA")
for op in (0.07, 0.14, 0.28, 0.50):
s = Ssd(op)
wa = s.run("random")
print(f"{op*100:3.0f}% {s.host:11d} {s.nand:11d} "
f"{s.copies:10d} {s.erases:6d} {wa:5.2f}")
s = Ssd(0.28)
wa = s.run("seq")
print(f"sequential {s.host:10d} {s.nand:10d} "
f"{s.copies:9d} {s.erases:6d} {wa:5.2f}")
OP host writes NAND writes GC copies erases WA
7% 300000 3032019 2732019 21575 10.11
14% 300000 1618952 1318952 10475 5.40
28% 300000 1020162 720162 5838 3.40
50% 300000 604006 304006 3127 2.01
same size, 28% OP, sequential host order
sequential 300000 300000 0 1104 1.00
这组数字怎么读
7% 预留空间、全随机 4KB 写,放大 10.11。意思是主机每写 1 页,闪存平均写 10 页。这不夸张,消费级盘做随机写时,放大到十几很常见,只是厂商不公开。
把预留空间提到 14%,放大降到 5.4;28% 降到 3.4;50% 降到 2.01。趋势很清楚:多留一点空间,垃圾回收的选择余地就大,受害者块里的活页更少,搬得也更少。这就是企业盘为什么留那么多 OP,代价是可用容量变小。
对照组更关键:同样的容量、同样的块,主机改成顺序写,放大就是 1.00,垃圾回收没有搬一页。因为顺序写把块整块写满,作废时也是整块一起作废,几乎没有活页要搬。这不是模拟器的巧合,是结构决定的。
模型的结果比真实盘偏乐观,还有两个原因:真实固件有 SLC 缓存搬移、元数据更新、磨损均衡,模型都没算;真实主机的写入也不是纯净的 4KB 对齐,文件系统会把一次写拆成几段。所以 7% 预留空间那个 10.11,可以当作「至少这么高」的量级,而不是上限。
这组数字还说明:放大不是盘的固定属性,而是「盘的性质加负载的形状」共同决定的。同一块盘,换一种写入方式,放大能从 10 掉到 1。所以讨论寿命时,先说负载,再说盘,顺序反了就得不出可用的结论。
TBW 和 DWPD:保修口径,不是硬寿命
TBW 是总写入字节数,厂商承诺在这块盘的生命周期内可以承受的主机写入量,超过就不保了。它不等于颗粒的物理极限,也不等于超过就会立刻坏。厂商是用颗粒容量、擦写次数和假定的放大倍数估一个保守值,再留出余量。
DWPD 是每天全盘写入次数,常用于企业盘。1TB 的盘,5 年保修,TBW 600,折算下来每天可写 600 除以 365 除以 5,约 0.33 个全盘容量,也就是 0.33 DWPD。同一块盘如果保修 3 年,DWPD 会高一些。看 DWPD 要连同保修年限一起看,单看数字容易误判。
健康度百分比则是固件根据已用擦写次数、坏块、放大等估算的剩余寿命。它是个估计值,不是线性倒计时。你会看到它前期掉得慢、后期掉得快,也会看到不同固件的算法给出不一样的数字。把它当参考,不要当预言。
举个常被忽略的点:TBW 算的是主机写入,不是闪存写入。厂商在标 TBW 时已经默认了一定的放大倍数,如果你的负载比它假设的更随机,实际消耗会快于 TBW 的线性预期。反过来,如果你的负载是大块顺序写,实际消耗会慢于 TBW。同一块盘,两种负载下的「寿命体验」可以差好几倍。
所以看到 TBW 这个数字,别直接换算成「能写多少年」。先问自己的负载是什么样:一天写多少、每次写多大、是覆盖写还是追加写、盘里还剩多少空闲。这四个问题的答案,比 TBW 本身更能预测盘的实际寿命。
小随机写和批量顺序写,是两种人生
小随机写
每次只改几 KB,旧页变脏,块里大部分还是活数据。垃圾回收为了回收少量无效页要搬大量活页,放大常在五到十几。日志、数据库、虚拟机镜像都是这一类。
批量顺序写
整块写满,整块作废,垃圾回收几乎不用搬。放大接近 1,寿命消耗和主机写入基本对齐。备份、视频、归档都是这一类。
这也给了一个很实际的优化方向:把随机写合并成顺序写。日志先写进内存缓冲,攒够一批再落盘;数据库的写入按页对齐、批量提交;临时文件用大块写而不是一字节一字节追加。这些做法既省寿命,也省 IOPS。
但要注意折中。批量意味着数据在内存里多待一会,掉电时丢的窗口变大;对齐意味着可能要补齐填充字节,实际写入量增加。做这类优化之前,先想清楚是寿命更紧张,还是数据安全更紧张,两个目标经常是拉扯的,很少有同时满足的方案。
现象对照:先查什么
写入放大很少直接被监控报出来,都是通过间接症状暴露:健康度掉得快、速度越用越慢、两个统计数字对不上。看到这些,先按下面的顺序排查,不要一上来就怀疑盘坏了。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 健康度掉得比主机写入量快 | 写入放大高,闪存实际写入远大于主机写入 | 对比主机写入量与 SMART 里的 NAND 写入量 |
| 写日志的机器盘老得快 | 小随机追加写制造半满块,GC 频繁搬移 | 看写入大小和频率,评估能否批量合并 |
| TRIM 关闭后越用越慢 | 无效页不被标记,GC 搬死数据,放大上升 | 确认系统 TRIM 状态和转接设备是否支持 |
| 预留空间太小导致持续掉速 | 空白页不足,GC 被迫频繁启动,写放大陡增 | 看剩余空间比例,考虑留出更多空闲容量 |
| 数据库或 RAID 随机写寿命短 | 小随机写叠加校验写,放大进一步翻倍 | 核对写入模式、条带大小和文件系统对齐 |
| 监控写入量和盘内计数差几倍 | 统计口径不同:一个算逻辑,一个算物理 | 先确认两个数字的定义,再算放大倍数 |
| 换了大容量盘反而更耐用 | 容量大、通道多、OP 绝对值大,同样负载放大更低 | 对比 TBW、OP 比例和持续写入曲线,而不是只看容量 |
边界与代价
第一,降低放大往往要牺牲空间或延迟。多留 OP 意味着少用容量;把随机写合并成批意味着内存缓冲和更大的单次延迟;TRIM 需要文件系统和设备配合。没有一项是免费的。
第二,企业盘和消费盘的 OP 不同。企业盘留得多,随机写寿命好,价格也高;消费盘留得少,容量好看,重随机负载下寿命吃紧。拿消费盘跑日志服务器,账很快就能看出来。
第三,TBW 是保修口径,不是硬寿命。超过 TBW 不代表立刻坏,但厂商不再承担保修;反过来,没到 TBW 也可能因为坏块、固件问题提前失效。备份永远比寿命计算重要。
第四,模拟不能替代真实负载测试。模型里没有主控调度、缓存、纠错、温度,也没有主机的并发模式。它可以帮你判断方向,不能帮你给一块盘的健康度下结论。
第五,写入放大的账要和寿命、性能一起看。只看放大数字,可能做出「为了省寿命牺牲一半性能」的决定;只看性能,又可能把盘写废。两个指标要放在同一个负载下评估。
第六,放大会随空间占用变化。同一块盘,空着跑和快写满跑,是两种放大。盘越满,垃圾回收的腾挪空间越小,放大越高,掉速也越明显。所以「留一些空闲」不是玄学,是在给回收留周转地。
今天就能验证的五个练习
- 把上面的模拟器跑起来,把 OP 改成 5%、10%、20%、40%,记录放大倍数的变化,画一张自己的曲线。
- 估算自己负载的放大上限:统计一次业务高峰的主机写入量和写入大小分布,按最坏情况算物理写入。
- 检查 TRIM:Windows 下用管理员权限运行
fsutil behavior query DisableDeleteNotify,返回 0 表示开启。 - 把一处小随机写改成批量写:比如日志先缓冲 1MB 再落盘,观察写入次数和耗时的变化。
- 查自己固态的 TBW 和 DWPD,按实际主机写入量折算还能用多久;注意这是估算,不是承诺。
收束:寿命的账,写在看不见的地方
写入放大是主机请求和闪存实际写入之间的差额,来源是垃圾回收搬移、小随机写、缓存搬移和磨损均衡。预留空间越大、写入越顺序,放大越低;小随机写越多、空间越满,放大越高。TBW 是拿放大倍数估出来的保修额度,健康度是固件的估算,都不是精确的倒计时。
但寿命只是账的一半。另一半是:主机说「写成功了」,数据到底在哪儿?如果这时候断电,哪些数据还在、哪些已经没了?下一篇讲掉电与 fsync,把写路径从应用缓冲一路追到闪存,看看「返回成功」这四个字到底承诺了什么。