一台 8 GB 内存的开发机,开着浏览器、IDE、两个数据库和一堆容器,任务管理器里各进程的占用加起来早就超过了 16 GB,机器却没有立刻崩。有人说是“内存统计不准”,有人说是“系统会压缩内存”,还有人直接断定“其中一半是假的”。这些说法都沾边,但都没说到机制本身。
真实情况是:每个进程看到的地址,和物理内存条上的地址,不是同一套编号。进程手里拿的是虚拟地址,操作系统和 CPU 一起把它翻译成物理地址。翻译表可以很大,大到远超物理内存;真正用到的页才占物理内存,没碰过的页可以一直不存在。这篇就把这套翻译机制走一遍。
现象:总和超过物理内存,为什么没有立刻崩
先看三个不同的数字。虚拟大小是进程申请过的地址空间总量,它可以远远超过物理内存;提交大小是系统承诺“这些内存以后能给你”的额度,通常对应可用的物理内存加交换空间;工作集是当前真正映射在物理内存里的页。三个数字回答三个不同的问题,混着看一定会得出错误结论。
总和超过物理内存还不崩,原因有三类。第一,很多页根本没被访问过,只是占了地址编号。第二,多个进程共享同一份物理页,比如同一个动态库的代码段,统计时各算各的,实际只有一份。第三,部分页被换出到磁盘,物理内存里暂时没有它们,但进程依然认为自己拥有。
这套机制不是“骗人”,它换来的是隔离和灵活:每个进程都以为自己独占一大片连续地址,实际由系统在背后调度;程序不用关心物理内存够不够,只要访问时能拿到页就行。代价是每次访问多了一层翻译,以及缺页时的那一下停顿。
场景走查:一次读内存,地址是怎么被翻译的
假设程序要读地址 0x7ffc1234。CPU 拿到的仍然是这个虚拟地址,它得先找到对应的物理页。整个过程大致是下面几步。
第一步,页的大小通常是 4 KB,所以地址的低 12 位是页内偏移,高位是页号。偏移不需要翻译,原样保留;需要翻译的是页号。这套按页管理、用到才装入的做法,就是常说的按需调页。
第二步,CPU 里有一小块缓存叫 TLB,专门记最近用过的“页号到物理页号”的对应关系。命中时几乎不花时间;没命中才去内存里走页表。程序访问有局部性,连续访问同一片区域时 TLB 命中率很高,这也是虚拟内存不至于慢到不可用的关键。
第三步,页表本身可能有很多级。以常见的四级页表为例,每一级用页号的一段作为索引,逐级查到最后的页表项。页表项里不只有物理页号,还有有效位、可读可写、用户可访问、是否脏、是否被访问过等标志。权限检查就发生在这一层:用户态程序去读一个标记为内核的页,会直接触发异常,而不是真的读到数据。
第四步,如果页表项说“这一页不在物理内存”,CPU 触发缺页异常,控制权转到内核。内核要判断这是哪种缺页:页其实还在内存里,只是没建映射,补一下页表就行,这叫次要缺页;页被换到磁盘了,或者文件还没读进来,要从磁盘装载,这叫主要缺页,慢得多。
第五步,内核找到一页空闲物理内存,把内容装进去,更新页表,然后返回。CPU 重新执行刚才那条指令,这次翻译成功,程序继续跑。对程序来说,这条指令只是“慢了一下”,它不知道中间发生了什么。
虚拟地址空间:每个进程都以为自己独占
因为翻译是每个进程一套,两个进程完全可以使用相同的虚拟地址,映射到不同的物理页。进程 A 的 0x400000 是它的代码,进程 B 的同一个地址可能是另一份代码。它们互不干扰,因为页表不同,CPU 切换进程时会换掉页表基址。
这也是进程隔离的基础。一个进程不能直接读写另一个进程的内存,不是因为它“不知道地址”,而是因为它的页表里根本没有那个映射。想共享内存,得由系统显式建立一块双方都能映射的区域,比如共享内存或内存映射文件。
进程内部的布局也依赖这套机制:代码段可以标记为只读可执行,数据段可读写,栈和堆各自占一段虚拟区间,中间留出大片未映射的空隙。空隙不占物理内存,但占地址编号。32 位进程的地址编号只有 4 GB,所以即使物理内存很大,它也用不上;64 位进程的地址编号大到几乎用不完,限制就变成了物理内存和提交额度。
页表、TLB 与多级结构
页表最朴素的形式是一张大数组,每个虚拟页对应一个页表项。问题是它太大:64 位地址、4 KB 页,虚拟页数量是 2 的 52 次方,就算每项 8 字节,也根本存不下。所以现实中的页表是分级的,只给真正用到的区域建表。
多级结构省空间,但一次没命中的翻译要走好几次内存访问,所以 TLB 的作用被放大了。TLB 容量有限,访问模式如果跨很多页、没有局部性,命中率会掉,程序就会明显变慢。这类性能问题很难从代码表面看出来,通常表现为“逻辑一样,换个数据布局就慢了一截”。
另一个优化是更大的页。普通页 4 KB,大页可能是 2 MB 甚至 1 GB。页越大,覆盖同样区域需要的页表项越少,TLB 能装下的范围越大,翻译开销越低。代价是内部浪费:一个只用了几十 KB 的 2 MB 大页,剩下的大部分空间也被占住。大页适合数据库、虚拟机这类大块连续内存的场景,不适合碎片化的小对象。
缺页、换页与写时复制
缺页不一定是坏事,它是按需加载的正常机制。程序启动时,代码段并没有全部读进内存,第一次执行到某页才触发缺页,从文件装入。这样启动更快,也避免了一次读入大量用不到的代码。
当物理内存紧张时,系统要选择一些页换出到磁盘,腾出空间。选择策略常见的有 LRU 的近似实现,比如时钟算法:给每页一个访问位,扫描时优先淘汰没被访问过的页。被换出的页如果之后又被访问,就会再次缺页,从磁盘换回来。这个反复换入换出的状态叫抖动,表现为 CPU 不高、磁盘狂转、程序卡顿。
写时复制是另一个常见机制。父进程 fork 出子进程时,不立刻复制所有页,而是让父子共享同一份只读映射;任何一方想写,才触发缺页,内核复制一份新的页给写入方。这样 fork 看起来很快,实际成本被推迟到真正写入时。它也解释了为什么“fork 之后马上 exec”通常很便宜:还没写,页就不用复制。
实测:预留 1 GB,和真正用 1 MB
Windows 提供虚拟内存接口,可以把“预留地址”和“提交物理额度”分开。写一个程序:先预留 1 GB 地址,但只提交其中 1 MB,再逐页触碰这 1 MB,观察工作集和提交大小的变化。
size_t gb = 1024u * 1024u * 1024u;
char *p = VirtualAlloc(NULL, gb, MEM_RESERVE, PAGE_READWRITE);
char *q = VirtualAlloc(p, 1024u * 1024u, MEM_COMMIT, PAGE_READWRITE);
for (size_t i = 0; i < 1024u * 1024u; i += 4096) q[i] = 1;
/* 每次操作后读取 WorkingSetSize 与 PagefileUsage */
本机 gcc 16.2 编译运行,实际输出:
start working_set= 4968 KB commit= 1188 KB
after reserve 1GB working_set= 4992 KB commit= 1188 KB
after commit 1MB working_set= 4992 KB commit= 2216 KB
after touch 1MB working_set= 6024 KB commit= 2220 KB
after release working_set= 5000 KB commit= 1192 KB
预留 1 GB 之后,提交大小没变,工作集也没变:地址编号被划走了,但系统没有承诺物理额度,更没有装入任何页。提交 1 MB 之后,提交大小增加约 1 MB,工作集仍然没动,因为还没访问。逐页写入之后,工作集增加约 1 MB,物理页这时才真正到位。释放之后,两者都回到起点。
这组数字把“预留、提交、驻留”三件事分得很清楚。它也说明,任务管理器里看到的“内存占用”只是其中一面,不能单独拿来判断程序是否真的需要那么多物理内存。
mmap:把文件当内存用
内存映射文件(mmap)是虚拟内存的另一条常见路径。它把文件的一段映射进进程地址空间,读文件就像读内存,写内存到了一定时候会回写到文件。好处是不用自己管理读缓冲区,多个进程还能映射同一个文件来共享数据。
mmap 也分私有映射和共享映射。私有映射的写入只对当前进程可见,通常配合写时复制;共享映射的写入对所有映射了同一文件的进程可见。数据库、日志系统、消息队列经常用这套机制,因为它绕过了“读进内存再处理”的一次拷贝。
代价是语义更复杂:什么时候落盘、异常时数据是否完整、多个进程同时写同一页怎么办,都需要额外约定。映射不等于持久化,写完不调用同步接口,断电后数据仍可能丢。把它当普通内存用,迟早会在一致性上踩坑。
现象对照表
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 各进程占用总和超过物理内存,机器没崩 | 虚拟大小、共享页、换出页混在一起统计 | 分别看虚拟大小、提交大小、工作集,不要相加 |
| 程序申请大块内存成功,一写就被杀 | 系统允许超额分配,真正提交时内存不够 | 检查超额分配策略和容器内存限制 |
| 磁盘狂转,CPU 不高,程序极慢 | 内存不足导致频繁换页,出现抖动 | 看缺页率和交换空间使用量,确认工作集是否超过物理内存 |
| 刚启动的程序占了很多虚拟内存 | 预留地址空间、映射库文件,尚未真正使用 | 对比提交大小和工作集,不要只看虚拟大小 |
| 同样的代码,换数据布局后明显变慢 | 访问跨页太多,TLB 命中率下降 | 看访问模式是否连续,考虑分块或大页 |
| fork 之后子进程立刻占很多内存 | 写时复制尚未触发,统计口径把共享页算进去了 | 看私有工作集,区分共享页和私有页 |
| 32 位程序申请 2 GB 失败 | 地址空间上限,不是物理内存不足 | 看进程位数和地址空间布局,考虑改 64 位 |
| mmap 写完后断电,文件内容不完整 | 映射写入还在页缓存,没有同步到磁盘 | 检查落盘调用和写入顺序,不要假设映射等于持久化 |
边界与代价
虚拟内存的第一个代价是翻译开销。TLB 命中时几乎无感,没命中就要走多级页表;访问模式不好时,这部分开销会变成主要瓶颈。第二个代价是缺页停顿。主要缺页要等磁盘,哪怕只等几毫秒,对延迟敏感的服务也是灾难。第三个代价是页表本身占内存,地址空间铺得越大,页表层级越多,额外占用越多。
交换空间能救命,但不能当内存用。它的速度比内存慢几个数量级,频繁换页会让系统进入抖动状态。很多服务在容器里被限制内存后,表现出的不是“分配失败”,而是“越来越慢”,原因就是不断换页。生产环境里要盯住缺页率和交换使用量,不能只看剩余内存。
超额分配是双刃剑。它让程序不必为峰值提前买单,但也让“申请成功”失去承诺意义。真正紧张时,系统可能选择一个进程杀掉,这就是 OOM 终止。被杀的不一定是占用最多的,也不一定是最该杀的,所以关键服务要设置资源限制和优先级,不能把命运交给随机选择。
最后,虚拟内存不是无限的。64 位地址空间很大,但提交额度、页表开销、物理内存和交换空间都是有限的。把“地址够用”当成“内存够用”,是容量规划里最常见的误判之一。
排查内存问题时,先把三个口径分开看,再结合缺页率和交换使用量,基本就能判断是预留太多、真用太多,还是物理页不够。只看一个数字,容易被它带偏。
当天能自己验证的练习
- 运行上面的预留/提交程序,把 1 GB 改成 4 GB,确认预留本身不增加提交大小;再改成只触碰一半页,观察工作集。
- 用 Python 的
mmap打开一个临时文件,写入一段内容,关闭映射后再读文件,确认数据已经落盘。 - 在 Linux 上用
ps的 VSZ 和 RSS 两列对比同一个进程,理解虚拟大小和驻留大小的差别。本机没有 Linux 环境,这一条未在本机实测。 - 写一个不断申请并触碰内存的程序,在容器内存限制下运行,观察它是被终止还是变慢;再用交换空间做对比。
- 用
perf stat或系统性能计数器观察缺页次数,对比顺序访问和随机访问一个大数组时的差异。本机没有 perf 环境,这一条未在本机实测。
小结与下一篇
虚拟内存把“程序看到的地址”和“物理内存的地址”拆成两套编号。页表负责翻译,TLB 负责加速,缺页负责按需补齐;预留不等于提交,提交不等于驻留,三个数字回答三个问题。共享页、写时复制和换页,让多个进程的占用总和可以超过物理内存而不立刻崩溃。
下一篇讲写下文件之后,数据到底在哪:文件系统与 fsync。内存里的页最终要落到磁盘上,文件系统就是这套落盘规则的执行者:文件名怎么找到数据、写入什么时候真正持久、删除之后空间为什么没回来。