手机发布会写「NPU 40 TOPS」,桌面显卡的规格页写「10 TOPS」。数字上手机是四倍,但真拿同一个模型去跑,手机常常慢一大截,甚至还跑不起来。第一反应是厂商虚标,其实多数时候数字没撒谎,是「算力」的口径和整条链路的瓶颈不一样。
TOPS 是 Trillion Operations Per Second,每秒万亿次运算。问题在于「运算」怎么算:是 INT8 还是 FP16,是稠密还是稀疏,一次乘加算一次还是两次。四个维度一变,同一个硬件能写出四个不同的数字。
就算口径统一,峰值算力也不等于实际速度。数据要有人喂,算子要有人实现,模型要能转换,散热要压得住。这篇把这些限制一条条拆开,最后用一个本机真跑的 Python 实验看量化误差量级。本机没有 NPU 开发环境,文中涉及的 TOPS、带宽和散热数字来自公开资料,未在本机实测。
NPU 到底在算什么
NPU 是 Neural Processing Unit,神经网络处理器。它不像 CPU 那样什么都能干,也不像 GPU 那样兼顾图形。它主要实现三类运算:矩阵乘、卷积和激活函数。矩阵乘是两层神经元之间的全连接,卷积是带滑动窗口的局部乘加,激活函数给结果加非线性。
三类运算的共同点是「大量重复的乘加」。一个卷积层可能要做几亿次乘加,每次都是「取两个数、相乘、加到累加器上」。这种模式非常适合做成硬件阵列:一排排乘加单元同时工作,数据在阵列里流动,不需要复杂的控制逻辑。
NPU 里常见的基本结构叫 MAC 阵列。MAC 是 Multiply-Accumulate,乘加,一个单元一次能做「a 乘 b 再加到 c」。把成百上千个 MAC 排成二维阵列,再配上片上缓存和控制器,就是 NPU 的计算核心。它的效率来自重复,不是来自单核聪明。
有的芯片把 DSP 也叫 NPU,边界并不严格。判断一块加速器是不是真正的 NPU,不看名字,看它有没有大规模的 MAC 阵列和面向卷积的数据通路。只有几个乘加单元的 DSP,跑同样的模型会慢很多。
一个卷积层要做多少次乘加
拿一个常见的卷积层举例:输入 224×224 像素、64 个通道,卷积核 3×3,输出 64 个通道。每个输出元素要把 64×3×3 个输入乘加一遍,输出一共有 224×224×64 个元素。
乘加次数等于 224×224×64×64×3×3,算下来约 18.5 亿次 MAC。按一次 MAC 等于两次运算的惯例,约 37 亿次浮点运算。这个层在 40 TOPS 的峰值算力下,理论上 0.09 毫秒就能算完。数字很漂亮,但它只是理论值。
同一层要搬多少数据?输入约 3.2MB,输出约 3.2MB,权重 64×64×3×3 个参数,按 INT8 存约 36KB。就算权重能全部留在片上缓存,输入输出加起来也有 6.4MB 要走内存。按 50GB/s 的带宽算,搬完要 0.128 毫秒,比理论计算时间还长。
这个估算说明一个常被忽略的事实:很多卷积层不是算力受限,而是带宽受限。算力单元再快,数据没到位也只能等。NPU 设计里大量片上缓存、数据复用和分块,就是为了缓解这个矛盾。真实芯片不会每层都从内存重新读,相邻层融合和权重常驻能把实际搬运量压下来,但压不到零。
TOPS 的四种口径
第一个差异是精度。同一个 MAC 阵列,跑 INT8 和跑 FP16 的吞吐可能差一倍甚至更多,因为低精度数据占的位宽小,一个周期能做更多次乘加。宣传页写 40 TOPS 时,要看清是 INT8 还是 FP16;如果是 INT8,FP16 的实际算力可能只有一半。
第二个差异是稀疏。很多 NPU 支持结构化稀疏,比如每四个权重里允许两个为零,硬件跳过零乘法,标称算力可以翻倍。但你的模型如果不够稀疏,这个翻倍就用不上。稀疏是条件,不是默认福利。稀疏还分结构化、非结构化和块稀疏,硬件支持的通常是结构化,剪枝时要把零摆到硬件认的位置上。
第三个差异是 MAC 的计数。一次 MAC 在数学上是乘法和加法两次运算,有的厂商按两次算,有的按一次算。按一次算的数字,看起来会是按两次算的两倍。这不是造假,是行业里没有统一约定留下的空间。
第四个差异是峰值和持续。峰值是阵列满载、数据齐全、散热充足时的短时数字;持续是跑十分钟以后的数字。手机受散热限制,持续算力往往只有峰值的一半甚至更低。规格页写的是峰值,体验取决于持续。
量化:为什么 NPU 偏爱 INT8
量化是把浮点数换成低精度整数。FP32 每个数占 4 字节,FP16 占 2 字节,INT8 占 1 字节。位宽降下来,同样的缓存能放更多数据,同样的带宽能搬更多参数,乘加单元也能做得更小更密。NPU 偏爱 INT8,主要不是为了精度,是为了能效和带宽。
量化的做法通常是给一组数选一个缩放因子,把浮点范围映射到 -127 到 127。推理时用整数乘加,最后再乘回缩放因子。缩放因子选得粗,误差大;选得细,范围又盖不住异常值。工业上还会做校准,用一批真实数据统计每层的取值范围。
量化误差不是均匀的。激活值里有少数特别大的异常值,会把整个范围撑大,导致其他小值被压到很粗的刻度上。所以有的方案做逐通道量化,每个通道单独选缩放因子;有的方案保留少数敏感层用 FP16。哪种好,要在具体模型上测。
量化还分对称和非对称。对称量化把零点固定在 0,适合权重这种正负大致对称的数据;非对称量化给零点一个偏移,适合 ReLU 之后全为非负的激活。选错了,范围会浪费一半,误差变大。推理框架通常会自动选,但看日志时要知道它在做什么。
本机实验:INT8 和 FP16 的误差有多大
下面这段 Python 不依赖第三方库,用标准库生成一组 ReLU 后的激活值和一组有正有负的权重,算一个 4096 维点积,再对比 FP16、INT8 量化和逐通道量化的结果。它测的是数值误差,不是 NPU 速度。
import random
import struct
rng = random.Random(11)
N = 4096
acts = [abs(rng.gauss(0, 1.0)) for _ in range(N)]
weights = [rng.gauss(0, 0.3) for _ in range(N)]
def dot(a, b):
return sum(x * y for x, y in zip(a, b))
def to_fp16(x):
return struct.unpack("e", struct.pack("e", x))[0]
def quant_int8(x):
scale = max(abs(v) for v in x) / 127.0
q = [max(-127, min(127, round(v / scale))) for v in x]
return [v * scale for v in q], scale
def quant_int8_per_channel(x, channels=8):
size = N // channels
out = []
for c in range(channels):
part = x[c * size:(c + 1) * size]
s = max(abs(v) for v in part) / 127.0
q = [max(-127, min(127, round(v / s))) for v in part]
out.extend(v * s for v in q)
return out
ref = dot(acts, weights)
a16 = [to_fp16(v) for v in acts]
w16 = [to_fp16(v) for v in weights]
d16 = dot(a16, w16)
w8, ws = quant_int8(weights)
d8w = dot(acts, w8)
a8, _ = quant_int8(acts)
d8all = dot(a8, w8)
w8c = quant_int8_per_channel(weights)
d8c = dot(acts, w8c)
for name, val in [("reference", ref), ("fp16", d16), ("int8 weights", d8w),
("int8 weights+acts", d8all), ("int8 per-channel", d8c)]:
err = abs(val - ref) / abs(ref) * 100
print(f"{name:20s} {val:10.6f} rel.err {err:6.4f}%")
print(f"bytes per vector: fp32 {N*4}, fp16 {N*2}, int8 {N}")
print(f"weight scale: {ws:.6f}")
本机 Python 3.15 实际输出:
reference 13.151830 rel.err 0.0000%
fp16 13.141055 rel.err 0.0819%
int8 weights 13.090788 rel.err 0.4641%
int8 weights+acts 12.955566 rel.err 1.4923%
int8 per-channel 12.957332 rel.err 1.4789%
bytes per vector: fp32 16384, fp16 8192, int8 4096
weight scale: 0.010437
结果符合预期:FP16 误差不到千分之一,只量化权重时误差约 0.46%,权重和激活都量化到 INT8 时误差约 1.5%。字节数从 16KB 降到 4KB,省了四分之三的带宽和存储。这就是 NPU 愿意承受精度损失换低精度的原因。
有一个反直觉的地方:这次实验里逐通道量化没有比逐张量量化更好,1.4789% 对 1.4923%,差别很小。因为随机生成的权重每个通道的最大值都差不多,逐通道没有发挥空间。真实模型里通道分布差异大时,逐通道才有收益。单个实验不能当成普遍结论,这也是量化必须拿自己模型校准的原因。
内存带宽墙:算力单元也会饿肚子
NPU 的算力阵列很大,但数据要从内存搬。片上缓存容量有限,放不下整个模型;每算一层,输入、权重、输出都要在内存和缓存之间流动。带宽不够时,阵列就空转,峰值算力只能写在规格页上。
缓解办法是数据复用和分块。把权重留在片上,反复处理多批输入;把输入切成小块,先在缓存里算完再写回;把相邻层融合,减少中间结果的往返。这些优化由编译器和推理框架做,做得好不好,直接决定有效算力。
手机 NPU 的带宽尤其紧张。它和 CPU、GPU 共享内存控制器,功耗预算只有几瓦,散热靠机身。40 TOPS 是短时峰值,跑一个几分钟的任务,频率和带宽都会往下掉。桌面显卡有独立显存和更大的散热空间,10 TOPS 的持续输出可能更稳。
带宽墙不是 NPU 独有的问题。任何一个算力单元,只要算术强度不够,都会卡在搬数据上。区别是 NPU 的算力密度更高,更容易显得「算力过剩、带宽不足」。选型时把带宽和算力一起看,比只看 TOPS 稳。
算子支持:模型能不能全放上去
NPU 的硬件只实现了有限的算子。卷积、矩阵乘、常见激活函数一般都有,特殊的归一化、动态形状、自定义算子就不一定。模型转换工具会把图切成两段:能放的放 NPU,不能放的留给 CPU。
切分本身有代价。数据要在 NPU 的地址空间和 CPU 能访问的内存之间搬,切点越多,搬运和同步越多。一个模型如果有三成算子回退 CPU,可能比全 CPU 还慢,因为两头都要花时间,还多了一堆拷贝。
所以选型时看算子支持列表,比看 TOPS 有用。列表里要确认你模型用到的每个算子都有对应实现,还要看支持的形状和精度。框架版本也要对:新版模型用了新算子,旧驱动不认,只能回退。锁定一套经过验证的版本组合,比每次追新更省心;升级前先在测试模型上跑一遍转换和精度对比,别等上线才发现回退。
峰值算力和有效算力
峰值算力
阵列满载、数据全在片上、频率最高、散热充足时的数字。它描述硬件的上限,适合比较架构潜力,不适合预测你的模型跑多快。
有效算力
真实模型、真实 batch、真实散热下达到的算力。它受算子覆盖、带宽、调度、驱动和精度影响,通常明显低于峰值,但这才是有意义的数字。
从峰值到有效,中间有几层损耗。算子不支持要回退,带宽不够要等,batch 太小阵列填不满,散热不足要降频,驱动调度不好会空转。每一层都吃掉一部分,最后跑出来的时间可能只对应峰值的两三成。这不是某一家的毛病,所有专用加速器都一样。
要判断一颗芯片的实际表现,最可靠的办法是拿自己的模型跑一遍,记录每层耗时、内存占用和持续频率。厂商的演示往往挑最适合的模型和最大的 batch,参考价值有限。自己的数据,才是选型的依据。
出问题时先看哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| TOPS 很高但模型慢 | 算力口径不同,或受带宽、算子、散热限制 | 核对精度和稀疏口径,再看每层耗时里计算和搬运的比例 |
| 量化后精度掉得厉害 | 校准集不代表性,异常值撑大范围,敏感层被压扁 | 逐层对比量化前后的误差,找出误差突增的层 |
| 算子不支持,回退 CPU | 硬件没实现该算子,或形状、精度不在支持范围 | 看转换日志里的 fallback 节点和数据拷贝次数 |
| batch 太小,算力上不去 | 阵列填充率低,启动和调度开销占比高 | 比较不同 batch 下的吞吐和延迟,找拐点 |
| 内存带宽不够,阵列空转 | 权重和激活反复从内存搬,片上缓存装不下 | 算每层的字节数和算术强度,看是否带宽受限 |
| 驱动或框架版本不匹配 | 模型格式、算子集、运行时版本对不上 | 锁定驱动、框架和转换工具的版本组合 |
| 手机跑大模型直接失败 | 内存容量不够,或系统限制了单个应用的内存 | 看模型峰值内存占用和系统可用内存 |
| 同模型换芯片变慢 | 编译器调度和算子实现差异,不只是算力 | 看每层耗时分布,不只看总算力数字 |
边界与代价
专用性带来兼容成本。NPU 为矩阵和卷积优化,遇到动态形状、稀疏模式变化、特殊算子就吃力。模型迭代快的团队,要不断确认新结构能不能落到硬件上,这个沟通成本是长期的。项目开始时就把目标芯片的算子列表和版本矩阵拉出来,逐层对照,比中途返工便宜。
量化要付校准成本。校准集要覆盖真实输入分布,否则实验室精度和现场表现对不上。校准本身要跑一遍数据,还要逐层调,工作量不小。对精度敏感的模型,可能还要保留部分 FP16 层,省下的带宽又被抵消一部分。
模型转换是独立环节。每个厂商有自己的格式和工具链,转换失败、算子不支持、精度掉点,都要单独排查。换平台意味着重做一遍,这部分人力经常被低估。
厂商锁定也真实。模型、工具链、驱动都围绕一家芯片做优化,换一家要重写。项目周期短、模型变化快时,这种锁定可能比算力差距更影响进度。
调试困难。NPU 内部对开发者不透明,性能计数器少,算子融合后连层名都对不上。出问题常常只能二分模型、逐层关闭,靠时间和经验堆。
今天就能验证的五个练习
- 算一个 3×3 卷积层的 MAC 数:输出尺寸乘输出通道乘输入通道乘 9,看看和文章里的量级对不对。
- 把同一个模型的权重复制三份,分别按 FP32、FP16、INT8 存,算总字节数,看带宽需求差多少。
- 用文章里的卷积层参数,估算输入输出字节数,再除以你手上芯片的内存带宽,算理论搬运时间。
- 打开一个推理框架的文档,找到 NPU 后端支持的算子列表,挑一个你熟悉的模型,标记可能回退的层。
- 把上面的 Python 量化实验跑一遍,把激活值改成有负数的正态分布,看 INT8 误差怎么变。
这五个练习都不需要 NPU 硬件,重点是学会用字节数和乘加数估算瓶颈。
小结
NPU 专职做矩阵、卷积和激活,靠 MAC 阵列和低精度换取能效。TOPS 有精度、稀疏、计数三种口径,峰值不等于持续,更不等于你的模型能跑多快。量化省带宽也带来误差,算子支持决定模型能不能整段落上去,带宽决定阵列会不会饿肚子。
下一篇换个话题:MPU 和 MCU。它们不是算力大小之别,而是两种系统形态。一块开发板能不能跑 Linux,往往在买的时候就已经决定了。
下一篇:MPU 与 MCU:微处理器和单片机不是一回事,从两块都能点灯的开发板讲起。