动画公司渲染一段十秒的镜头,一帧要跑几分钟,整段算下来一夜。游戏里同样的场景,一帧只有十六点七毫秒,超一点就掉帧。两边的模型可能来自同一个文件,差别不在美术,而在于算法把时间花在了哪里,以及允不允许等。

这几年实时光线追踪进入显卡,很多人以为「光栅化要被淘汰了」。实际项目里打开光追,帧率腰斩,画面还带一层噪点,必须再叠一个降噪器。这不是光追不行,而是它把成本从「三角形覆盖多少像素」换成了「每个像素打多少条光线」,账本变了。

这篇是这组的收尾,把两种算法的顺序、成本结构、采样与噪声、混合管线和性能估算一次讲清。读完应该能做到一件事:拿到一个场景,先判断它卡在几何、填充还是光线求交,再决定该降分辨率、减面数,还是降采样数。

现象真实原因第一步查什么
打开光追后帧率掉一半以上每个像素要发多条光线,成本随采样数线性上升看每像素采样数和光线反弹次数
光追画面有一层细密噪点采样数不足,蒙特卡洛估计的方差还没收敛提高采样数或检查降噪器是否生效
离线渲染一帧要几分钟为了收敛,每像素采样数在几千以上看采样数和分辨率,确认是否有自适应采样
光追场景一复杂就卡死没有加速结构,每条光线都要遍历所有三角形检查是否构建了 BVH 或类似的层次结构
降噪后画面出现涂抹感降噪器用邻域信息填补噪声,细节被一起抹平看降噪强度和法线、深度引导是否准确
移动端几乎不能用光追求交和降噪的算力、带宽超出移动芯片预算看目标设备的实测算力,不要只看规格表
光栅化场景帧率随视角变化剧烈画面覆盖面积和重复绘制随视角变化对比不同视角下的帧率,确认是否填充率受限
两种渲染器出图颜色不一致色彩空间、曝光、色调映射和采样方式不同统一线性空间和输出转换后再逐像素比对

两种顺序,两种账本

光栅化的顺序是「按三角形找像素」:拿到一个三角形,算出它盖住哪些像素,再给这些像素着色。光追的顺序正好相反,是「按像素找三角形」:从相机出发,为每个像素发一条光线,问它撞到了哪个三角形。

顺序决定了成本结构。光栅化的成本大致等于三角形数乘每个三角形的处理开销,加上覆盖像素数乘每个像素的着色开销。光追的成本等于像素数乘每像素光线数乘每条光线的求交和着色开销,再乘反弹次数。

这也解释了为什么两种算法在不同场景下表现相反。一个模型极其复杂、但在屏幕上只占几个像素,光栅化仍然要为它提交几何、做变换,光追则只在光线撞上时才处理它。反过来,一个简单场景铺满全屏,光栅化的像素成本很高,光追也要为每个像素发光线,但每条光线可能很快就命中,反而未必更慢。这里说的「像素」仍然是采样点,它的组织方式在像素、色彩空间与位深里讲过。

没有一种算法在所有场景都赢。离线渲染选光追,是因为它可以等,愿意用大量采样换取正确的全局光照;实时渲染长期选光栅化,是因为它能在固定预算内稳定出图,而且对几何数量的容忍度更高。

光栅化:预算花在覆盖和着色

光栅化的每一步都有明确的成本。顶点变换按顶点数计费,光栅化按覆盖的像素计费,片元着色按片元数计费,深度测试和混合按写入次数计费。这些量在产品设计阶段就能估出来,不需要真的跑。

它的优点是稳定。同样的视角、同样的分辨率,每帧的成本几乎一样,不会因为场景里有一面镜子就突然翻倍。这对实时应用非常重要,因为帧率抖动比平均帧率低更影响体验。

它的缺点是不擅长处理「光线多次反弹」这类效果。反射、折射、全局光照、软阴影,光栅化只能靠贴图、探针、屏幕空间近似来伪造。这些手段在特定视角下会露馅:屏幕外的物体反射不出来,被遮挡的区域没有间接光,镜子里看到的是上一帧的画面。

这也是混合管线存在的理由。用光栅化生成基础的几何、材质、深度和法线,再用少量光线去补阴影、反射和环境光遮蔽,既保留稳定的成本结构,又拿到光追才有的正确性。

光追:预算花在光线和求交

光追的每一步也很明确。每条光线要和场景求交,找到最近的命中点,然后在该点采样材质、计算光照,再决定要不要发下一条反弹光线。成本等于光线数乘平均求交开销,乘上着色开销。

最朴素的求交是遍历所有三角形,每个都算一次。场景有一百万个三角形,每条光线就要算一百万次,这在实时里完全不可行。所以必须用加速结构,把「和所有三角形算」变成「先排除大多数,再精确算少数」。

最常用的是层次包围盒,常缩写为 BVH。它把三角形分组成一棵二叉树,每个节点包住自己所有子节点的空间范围。光线先和根节点求交,没打中就直接放弃整棵树;打中了再递归进两个子节点,逐层缩小范围。平均只需要访问十几个节点,而不是一百万个三角形。

下面这段用一个三角形演示求交,并算出一百万个三角形在二叉树下的深度和加速比。求交返回四个数:距离 t、两个重心坐标 u 和 v,以及剩下的权重 w。u 和 v 落在零到一之间才说明命中在三角形内部。

import math

def sub(a, b): return [a[i] - b[i] for i in range(3)]
def cross(a, b): return [a[1]*b[2]-a[2]*b[1], a[2]*b[0]-a[0]*b[2], a[0]*b[1]-a[1]*b[0]]
def dot(a, b): return sum(a[i]*b[i] for i in range(3))

v0 = [0, -2, -5]
e1 = [2, 4, 0]
e2 = [-2, 4, 0]

def intersect(o, d):
    pvec = cross(d, e2)
    det = dot(e1, pvec)
    tvec = sub(o, v0)
    u = dot(tvec, pvec) / det
    qvec = cross(tvec, e1)
    v = dot(d, qvec) / det
    t = dot(e2, qvec) / det
    return (round(t, 4), round(u, 4), round(v, 4), round(1 - u - v, 4))

hit = intersect([0, -0.4, 0], [0, 0, -1])
miss = intersect([0, 14, 0], [0, 0, -1])
print("hit", hit)
print("miss", miss, "invalid uv" if not (0 <= miss[1] <= 1 and 0 <= miss[2] <= 1) else "")

W, H = 1920, 1080
pixels = W * H
spp = 64
primary = pixels * spp
per_sample = 6
total = primary * per_sample
print("pixels", pixels)
print("primary rays", primary)
print("total rays", total)
print("rays per second at 60fps", total * 60)

tris = 1_000_000
depth = math.log2(tris)
print("bvh depth", round(depth, 1))
print("speedup", round(tris / depth))

在本机 Python 3.15 上实际运行,输出如下:

hit (5.0, 0.2, 0.2, 0.6)
miss (5.0, 2.0, 2.0, -3.0) invalid uv
pixels 2073600
primary rays 132710400
total rays 796262400
rays per second at 60fps 47775744000
bvh depth 19.9
speedup 50172

先看命中。光线从上方射向三角形所在的平面,在距离五的地方相交,重心坐标是零点二、零点二,剩下零点六。三个权重都落在零到一之间,加起来等于一,说明命中点在三角形内部。这就是一次有效的求交。

再看未命中。这条光线同样在距离五的地方打中了平面,但重心坐标是二和二,权重是负三,远远超出零到一。它说明光线穿过了平面,却落在三角形外面。实际渲染器在这一步就直接返回未命中,不会再去算着色。这个细节很重要:求交先解平面,再判断在不在三角形内,两个步骤不能混。

光线数量更能说明问题。一零八零的画面有二百零七万像素,每像素六十四采样,主光线就是一点三亿条。如果每个采样还要发五条次级光线,总数是七点九亿条。要在六十帧内完成,每秒需要四百七十七亿条光线。这个量级远超普通显卡的实时能力,所以实时方案通常只用每像素一到四条光线,再靠降噪补齐。

最后是加速结构。一百万个三角形建成二叉树,深度约二十层。原本要逐个检查一百万次,现在平均只走二十层,理论上快五万倍。当然实际提速没有这么夸张,因为节点求交本身有开销、内存访问不连续、光线分布不均匀,但这个数量级解释了为什么 BVH 是光追的基础设施。

采样、噪声与降噪

光追算的是积分:一个像素的颜色等于来自各个方向的光的总和。积分没法精确算,只能采样,采得越多越接近真值。采样不足时,估计值忽高忽低,表现为噪点。这种噪点是方法的必然产物,不是 bug。

噪点的强弱和采样数的平方根成反比。要把噪声减半,采样数要翻四倍。这就是离线渲染的账:宁可一帧跑十分钟,也要把采样数堆到几千,换一张干净的图。实时渲染等不起,所以只采几条,剩下的交给降噪。

降噪器利用邻域信息,把噪点抹平。它通常读取深度、法线、运动矢量,判断哪些像素属于同一个表面,再在这些像素之间做加权平均。好的降噪器能保留边缘和纹理,差的会把细节一起糊掉,出现涂抹感。

降噪也有代价。它需要额外的缓冲、额外的全屏处理,还可能引入时间上的拖影。更关键的是它改变了误差的性质:原本是随机噪点,现在是低频的斑块和残影。评估光追画面,不能只看静态截图,要看运动时是否稳定。

混合管线:光栅化打底,光追补课

现在的实时引擎很少纯用光追。常见做法是先用光栅化生成几何缓冲,包含颜色、法线、深度、粗糙度,再用少量光线去算阴影、反射、环境光遮蔽。这样几何和材质仍然走光栅化的稳定路径,只有需要正确性的部分才用光追。

这种分工有明确的成本理由。阴影只需要每个像素一条光线,反射可以半分辨率再上采样,环境光遮蔽可以用更低的采样数。把有限的光线预算花在视觉最敏感的地方,比全屏均匀地打光线更划算。

代价是管线变复杂。两套坐标系、两套深度、两套分辨率要对应上,任何一处不一致都会出现接缝或者错位。调试时经常需要把中间缓冲一张张可视化出来看,不能只盯着最终画面。

混合管线也带来新的性能问题:光栅化部分和光追部分争用同一块显存和带宽。光追的加速结构要占内存,降噪要多存几帧历史,几何缓冲又要多张目标。移动端做这些要非常克制,否则算力够、带宽先崩。

性能账怎么算

拿到一个场景,先估算三个量:像素数、三角形数、每像素光线数。像素数决定光栅化和光追都要付的底价;三角形数决定几何提交和 BVH 的内存;光线数决定光追的增量成本。

光栅化的账可以写成:三角形数乘每三角形开销,加覆盖像素数乘每像素着色开销。光追的账可以写成:像素数乘采样数乘反弹次数乘每条光线开销。两者都不含具体的硬件常数,所以只能比较相对量,不能直接得出毫秒数。

如果帧率随分辨率变化明显,说明填充率或光线数在主导;如果帧率随物体数量变化明显,说明几何或求交在主导;如果帧率随视角变化剧烈,说明覆盖面积或重复绘制在主导。三种症状对应三种优化方向,先定位再动手。

优化顺序通常是:先降采样数或分辨率,再降光线反弹次数,再简化材质和着色,最后才减面数。因为面数往往不是瓶颈,而采样数和分辨率是乘数,动一下收益立竿见影。这个顺序在光追和光栅化下略有不同,但「先动乘数」的原则是一样的。

边界与代价

第一个边界是正确性。光追在数学上更接近真实光照,但只要采样不足、反弹次数截断、材质近似,结果仍然是近似。离线渲染的「真实」也是相对的,它只是把误差压到了看不见的程度,不是物理精确。

第二个边界是内存。BVH 要为每个节点存包围盒和索引,几百万三角形的场景动辄几百兆;降噪要存历史帧和多张引导缓冲。显存不够时,要么降精度,要么降场景规模,没有第三条路。

第三个边界是硬件差异。不同显卡的光线求交单元数量、缓存大小、降噪支持都不一样,同一套参数在两台机器上可能差一倍。跨平台项目必须准备多档画质,不能把桌面参数直接搬到移动端。

第四个边界是时间预算。实时是硬约束,十六点七毫秒里还要分给逻辑、物理、音频、界面;离线是软约束,可以排队、可以分布式、可以重跑。这个差别决定了两边的算法选择,不是技术先进与否的问题。

最后是实测边界。本文的光线数、BVH 深度、加速比都是脚本算出来的理论值,真实帧率、不同显卡的表现、降噪后的画质,未在本机实测。要做决策,必须在目标硬件上跑目标场景,记录帧时间曲线,而不是拿理论值当结论。

五条当天能自验的练习

  1. 把脚本里的采样数从六十四改成十六,重算主光线和总光线,确认光线数按四分之一下降,理解采样数是乘数。
  2. 把反弹次数从六改成三,重算总光线,确认它和光线总数成正比,理解反弹深度如何影响成本。
  3. 把三角形数从一百万改成十万,重算 BVH 深度和加速比,确认深度只降了约三点三,而加速比降了十倍。
  4. 在自己项目里固定视角,把渲染分辨率减半,记录帧率变化;再把场景里的物件隐藏一半,记录帧率变化,判断瓶颈在填充还是几何。
  5. 打开光追后逐项关闭阴影、反射、环境光遮蔽,记录每一项的帧率代价,找出预算花得最多的那一项。

小结

光栅化按三角形找像素,成本随几何和覆盖走,稳定但不擅长多次反弹;光追按像素找三角形,成本随像素数、采样数和反弹次数走,正确但昂贵。BVH 把求交从线性降到对数,是光追的前提;采样不足产生噪声,实时靠降噪弥补;实际项目多用光栅化打底、光追补阴影和反射的混合管线。

这一组十篇到这里结束。从三角形怎么变成像素,到矩阵、相机、光栅化、光照、纹理、管线、抗锯齿、二维绘制,最后落到实时与离线的取舍。回头看第一篇那张地图,应该每一块都能对上具体的数字和具体的坑了。