产品页上要放一个能三百六十度旋转的沙发。建模师交来的文件有三十万面,前端加载后在手机上转一下就掉到十几帧;美术把面数压到三万,肉眼几乎看不出差别,帧率回到六十。同一天,另一个只有两万面的小摆件上了首页,因为它几乎占满整屏,反而比那张沙发更卡。
这两件事放在一起,能看出图形学真正在算什么:不是「模型有多大」,而是「这个模型最终落在屏幕上多少像素、每个像素被算了几遍」。一个模型可以有几百万个顶点,但如果它在画面里只有指甲盖大,开销可能还不如一片铺满屏幕的地面。反过来,一个只有两个三角形的全屏背景,也可能把显卡压满。
这篇是整个系列的入口。先把基本单位、基本流程和基本账目讲清楚:为什么显卡只认三角形、一个顶点要经过哪几个坐标系、三角形怎么变成像素、以及一帧的成本由哪几项乘出来。后面的文章会逐个拆开其中的环节,这一篇负责让你先有一张完整的地图。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 模型转到某个角度整块消失 | 顶点落到相机后面或近裁剪面之外,被裁掉了 | 看相机近裁剪值和物体世界坐标,确认它还在视锥里 |
| 面数减半,帧率几乎没变 | 瓶颈不在顶点,而在像素填充或显存带宽 | 把渲染分辨率减半再测,帧率明显上升就是填充率问题 |
| 远处地面纹理一闪一闪 | 缩小采样时没做多级纹理,高频细节变成噪点 | 检查纹理过滤设置,确认是否生成了 mipmap |
| 细栏杆转动时边缘爬行 | 每个像素只取一个样本,几何边缘被切成硬台阶 | 开关抗锯齿对比,看边缘是否变成灰度过渡 |
| 透明玻璃后面的东西看不见 | 透明物体写了深度,或者绘制顺序反了 | 检查混合是否开启、透明物体是否关闭深度写入 |
| 阴影边缘是一块一块的方块 | 阴影贴图分辨率不够,一个纹素盖住多个屏幕像素 | 看阴影贴图尺寸和投影覆盖范围的比例 |
| 同一张贴图在手机上偏暗 | 色彩空间没统一,纹理被当成线性数据参与光照 | 确认纹理是否按 sRGB 解释、光照是否在线性光下算 |
| 手机玩几分钟就掉帧 | 持续高负载导致发热降频,不是代码突然变慢 | 记录一分钟内的帧率曲线,看是不是先高后低 |
显卡只认三角形
图形学里,所有能看见的东西最后都要变成三角形。曲面、球体、地形、乃至三维招牌上的文字,在进入显卡之前都会被拆成一堆三角形。这不是偷懒,而是三角形有三个别的形状没有的好处。
第一,三个点一定共面。四边形稍微一扭就不在一个平面上,渲染时会出现裂缝和错误的明暗;三角形怎么摆都是平的。第二,判断一个点在三角形里面还是外面只需要三次叉积,规则统一,硬件实现便宜。第三,三个顶点上的任何属性都可以用线性的权重插值到面内任意位置,位置、颜色、纹理坐标都按同一套权重走,不会出现各算各的。
一个三角形带三个顶点。每个顶点至少要存位置,通常是三个三十二位浮点数,十二字节;加上法线十二字节、纹理坐标八字节,一共三十二字节,一个三角形就是九十六字节。一百万面的模型,光顶点数据就是九十六兆字节,这还没算索引和贴图。这些数字决定了模型能不能整个塞进显存,也决定了每帧要搬多少东西。
如果你对「一个像素里到底存了什么」还没有概念,可以先看同方向的像素、色彩空间与位深;那里讲的是二维图像的最小单位,这里讲的是这些像素怎么被三维几何填满。
三角形之间会共享顶点,所以实际存储通常是顶点表加一张索引表:一个正方形用四个顶点加六个索引,而不是六个顶点。共享能让顶点着色少跑几次,但共享也带来约束,接缝两侧的法线或纹理坐标必须一致。做硬边时法线要分开,就得把顶点拆成两个,模型导入后顶点数比想象的多,多半就是这个原因。
有人会问,既然三角形是最小单位,为什么建模时不直接用手工摆三角形?因为人眼需要的是平滑曲面,而离散的三角形只有足够密才会看起来平滑。曲面细分就是干这件事的:拿一张低面数的控制网格,按规则在显卡上自动加密,边缘越近越密。它把「看起来圆」和「存得下」之间的矛盾挪到了运行期,代价是多了一步计算和更多的三角形。
从顶点到像素,五步
显卡干活是按阶段排队的,这个排队顺序叫渲染管线。理解它比记住任何 API 都重要,因为后面所有的性能问题,几乎都能对应到某一个阶段。
顶点着色阶段对每个顶点跑一次程序,算它的世界坐标、算光照要用的法线、算它投影到屏幕上的位置。它只知道自己这一个点,不知道三角形长什么样,也不知道旁边有没有别的三角形。这个阶段的并行度极高,几百万个顶点可以同时算,所以它通常不是瓶颈,除非顶点数真的离谱。
图元装配把三个顶点合成三角形,顺手做背面剔除:面朝相机背面的三角形直接扔掉,反正看不见。然后做视锥裁剪,完全在画面外的三角形也扔掉。这一步只处理几何关系,不产生像素。
光栅化是整套流程的分水岭。它把三角形在屏幕上的投影盖住的像素找出来,为每个被盖住的像素生成一个片元。片元可以理解成「像素的候选人」,它带着插值后的屏幕位置、深度、纹理坐标和法线,但还没有颜色。一个像素可能同时被好几个三角形覆盖,于是产生好几个片元,这就是后面要算的重复着色。
片元着色对每个片元跑一次程序,采样纹理、算法线、算光照,得出一个颜色。最后深度测试拿这个片元的深度和深度缓冲里的值比较,赢了才写进颜色缓冲;如果材质是半透明,则不写深度,改成按透明度混合。走完这五步,一个像素的最终颜色才定下来。
一个顶点要换五个坐标系
建模软件里的坐标、场景里的坐标、相机看到的坐标、屏幕上的坐标,是四套不同的尺子。顶点从模型文件走到屏幕,要依次换五次,每次换都靠一个四乘四矩阵。
模型矩阵负责把零件摆到场景里,包含平移、旋转、缩放;视图矩阵负责把整个世界搬到相机眼前,它其实是相机变换的逆;投影矩阵负责把视锥压成一个标准立方体,让后面的裁剪和深度比较都用同一套规则。
这三次变换会在第二篇里逐个拆开,这里只需要记住一个结论:顶点位置错了、物体飘了、旋转中心不对、缩放后法线歪了,问题通常不在光照也不在材质,而在某个矩阵乘错了顺序。矩阵不满足交换律,先转再移和先移再转,结果差一个旋转半径。矩阵本身的定义和乘法规则,可以回看数学方向的向量与矩阵。
还有一处常被忽略:位置要变,法线也要变。位置用模型矩阵变换,法线却不能用同一个矩阵直接乘,遇到非均匀缩放会被拉歪,光照跟着错。正确做法是用模型矩阵左上角三乘三部分的逆转置,这个推导放在第二篇。这里先记住现象:模型被拉长后,亮面和暗面的分界线位置不对,往往就是法线没跟着正确变换。
一帧的账:面数乘像素
下面这段只用标准库,把一帧的几个基本量算出来。假设屏幕是一九二零乘一零八零,场景有一百万个三角形,平均每个三角形在屏幕上盖住十二个像素。
W, H = 1920, 1080
pixels = W * H
tris = 1_000_000
frag_per_tri = 12
frags = tris * frag_per_tri
fps = 60
print("screen pixels:", pixels)
print("fragments per frame:", frags)
print("overdraw:", round(frags / pixels, 2))
print("fragments per second:", frags * fps)
base, height = 100, 86
area = 0.5 * base * height
print("triangle area:", area)
print("share of one frame:", round(area / pixels * 100, 4), "%")
# 顶点数据量:每个顶点位置 12 字节 + 法线 12 字节 + UV 8 字节
print("vertex bytes per triangle:", 3 * 32)
print("vertex bytes for model:", tris * 3 * 32)
在本机 Python 3.15 上实际运行,输出如下:
screen pixels: 2073600
fragments per frame: 12000000
overdraw: 5.79
fragments per second: 720000000
triangle area: 4300.0
share of one frame: 0.2074 %
vertex bytes per triangle: 96
vertex bytes for model: 96000000
一帧有二百零七万个像素,却产生了一千二百万个片元,平均每个像素被覆盖五点七九次。按六十帧算,每秒要着色七亿两千万个片元。反过来看单个三角形,一个底一百、高八十六的三角形只有四千三百个像素,占整屏的千分之二。也就是说,大部分三角形都很小,真正决定开销的是它们叠在一起的总量。
顶点那边是另一笔账。每个三角形九十六字节,一百万面就是九千六百万字节,接近九十六兆。这笔数据每帧都要读,如果显存放不下、要反复从内存里取,带宽就会被吃光。顶点数据和像素开销的性质不同:前者随三角形数线性增长,后者随屏幕覆盖面积和层数增长。
三个瓶颈,分别对应三种现象
显卡的时间花在三个地方,不同的症状对应不同的地方。分不清这三者,优化就会瞎猜:明明卡在像素上,却一直减面数,自然没效果。
几何瓶颈:三角形太多或绘制批次太多
表现是降低分辨率帧率不变,但把远处的小物件隐藏掉帧率明显上升。顶点着色和绘制调用是主要成本,常见于大量独立小物件、每棵树一个模型这类场景。
填充率瓶颈:片元太多或每个片元太贵
表现是降低分辨率帧率立刻变好,或者屏幕被大面积半透明盖住时最卡。成本等于覆盖像素数乘每像素着色次数,再乘每个片元的指令数。
第三项是带宽。每次采样纹理、每次读写帧缓冲、每次把渲染结果拷来拷去,都在消耗显存带宽。手机上这一项最贵,因为移动显卡为了省电,把整屏切成小块,颜色和深度先留在片上内存,最后才写回显存。这种做法省掉了反复读写显存,但片元着色的次数一点没少,所以大面积的重复绘制在手机上照样致命。
还有一个容易忽略的乘数:光源数量。每多一盏实时光,片元着色里的计算就多一份;十盏灯不是加十,而是每个片元都要循环十次。很多项目在电脑上开十几盏灯没事,到手机上就崩,原因就在这里。
除了这三项,还有绘制调用。显卡每次收到「画这批三角形」的指令,都要做一次状态切换和校验,几百个三角形一批还好,如果每个小物件单独一次,几千次调用就能把中央处理器拖住,显卡反而闲着。这类问题的症状很典型:显卡占用不高,帧率却上不去,减少物件数量或者合并模型后立刻变好。
边界与代价
图形学的第一句实话是:它几乎不模拟真实的光,只模拟「看起来像」。光栅化不知道光线怎么反弹,它只按你给的公式给每个片元涂一个颜色。所谓真实感,是一堆近似叠出来的错觉,每加一层都要付钱。
第二句实话是:所有开销都能写成乘法。像素数乘采样数乘光源数乘渲染层数,任何一项翻倍,总成本就翻倍。所以优化的顺序通常是先砍覆盖面积和重复绘制,再砍每个片元的计算量,最后才动三角形数量。反过来做,往往花了很多功夫却看不到帧率变化。
第三句是精度。深度缓冲的精度不是均匀分布的,靠近相机的部分细,远处粗;世界坐标数值太大时,三十二位浮点会在物体表面产生抖动。这些问题不会报错,只会表现成远处的闪面或者阴影上的条纹,排查时很容易被误判成模型问题。
把预算摊开看会更直观。六十帧意味着每帧十六点七毫秒,这一帧里要完成清屏、顶点变换、光栅化、片元着色、后处理和界面合成。任何一项超支,整帧就拖长。所以做效果时不要问「这个功能贵不贵」,要问「它每帧多做多少次采样、多写多少次显存」,乘出来才知道能不能塞进这十六毫秒。
最后要说明本文的边界:上面这些数字是算出来的,不是测出来的。真实的显卡帧率、不同机型的表现,受驱动、分辨率、发热和厂商调度影响,未在本机实测。想验证自己的场景,得在目标设备上跑一遍并记录帧率曲线,不能拿理论值当结论。
五条当天能自验的练习
- 把上面脚本里的分辨率改成二五六零乘一四四零,其余不变,记录片元数和重复绘制倍数的变化,确认分辨率只影响像素那一项,不影响顶点数据。
- 把每个三角形的平均覆盖像素从十二改成四,观察每秒片元数从七亿降到多少,理解「物体在屏幕上变小」为什么能救帧率。
- 找一个自己项目里的模型文件,数它的三角形数,按每三角形九十六字节估算顶点数据量,再和贴图总大小比一比,看哪一项更占显存。
- 截一张实际运行画面,数某个物体占了多少像素,用它的三角形数除以这个像素数,估算这个物体的平均三角形大小,判断它属于几何重还是填充重。
- 在目标设备上把渲染分辨率减半,如果帧率接近翻倍,说明当前瓶颈在填充率;如果几乎不变,说明瓶颈在几何或逻辑,把结论记下来。
小结
记住三句话:显卡只画三角形,三角形经过顶点着色、裁剪、光栅化、片元着色、深度混合五步;一个顶点的位置要靠模型、视图、投影三个矩阵换到屏幕;一帧的成本是面数、像素覆盖和带宽三项乘出来的,症状决定该查哪一项。
下一篇从最容易出错也最基础的一环开始:坐标与矩阵变换。模型绕着谁转、非均匀缩放后法线为什么变歪、三个矩阵的乘法顺序为什么不能换,都会用可运行的例子算给你看。