拆开一台用了三年的手机,主板上最大的那颗芯片周围还围着十几颗小芯片。卖点页只告诉你它有八核 CPU、某个型号的 GPU、多少 TOPS 的 NPU;工控板的说明书又换了一套说法,写着「搭载 MPU,支持 Linux」。同一块板子,三份材料用了三套词。

更让人困惑的是,这些单元都在「算」。跑分软件测 CPU 和 GPU,AI 演示靠 NPU,操作系统又跑在 CPU 上。既然都能算,为什么不能只留一颗大芯片,把活全包了?手机 SoC 里那些重复的单元,是不是厂商为了写参数硬塞进去的?

这篇不急着给结论,先把四个名字对应的东西讲清楚,再看它们各自被什么约束。你会发现,它们不是「谁更强」的关系,而是四种不同的取舍:有人负责把乱七八糟的控制流理顺,有人负责把同一种运算铺满几万个数据点,有人只认矩阵,有人负责把整台设备装进一颗芯片。

先把名字认全:四种芯片,五种缩写

CPU 是 Central Processing Unit,中央处理器。它的典型形象是几个很强的核,每个核都能处理分支、函数调用、指针跳转、中断和异常。为了让这些不规则的操作跑得快,CPU 里塞了分支预测、乱序执行和多级缓存。它优化的是「一件事尽快做完」,也就是延迟。

GPU 是 Graphics Processing Unit,图形处理器。它一开始只管画三角形和像素,后来发现同样的结构适合做通用并行计算。GPU 里有成百上千个简单的流处理器,同一批指令同时作用在大量数据上。它优化的是「单位时间做完多少事」,也就是吞吐。

NPU 是 Neural Processing Unit,神经网络处理器。名字里的 neural 说明它只为神经网络服务,主要工作是矩阵乘、卷积和激活函数。它内部通常是大量的乘加单元排成阵列,用 INT8 或 FP16 这样的低精度格式,把同样的乘加重复到极致。

MPU 是 Microprocessor Unit,微处理器。注意它和 MCU 只差一个字母,却是两种东西。MPU 通常只有 CPU 核和少量接口,需要外挂 DRAM 内存和 Flash 存储,能力强到可以跑 Linux 或 Android。MCU 是 Microcontroller Unit,微控制器,也叫单片机,它把 CPU 核、Flash、SRAM、定时器、串口、ADC 全部集成在一颗芯片里,上电就能跑裸机程序。

MPU 还有另一个常见含义:Memory Protection Unit,内存保护单元,是 CPU 内部管权限的一块小硬件。同一个缩写,在两个语境里指完全不同的东西。看到「MPU 配置」时先看上下文:如果是芯片型号,说的是微处理器;如果是寄存器或操作系统章节,说的是内存保护。

还有一个词会反复出现:SoC,System on Chip,片上系统。它把 CPU、GPU、NPU、图像处理器、内存控制器、基带等模块集成到一颗芯片上。手机里那颗大芯片就是 SoC,它不是一个单独的 CPU。很多宣传口径把 SoC 的整体能力说成「芯片能力」,这也是后面很多误解的来源。

为什么不能只留一颗:控制流和数据流是两种活

程序里的工作大致分两类。一类是控制流:解析一段协议、处理用户点击、判断文件是否存在、在十几个分支里选一条路。这类工作每一步都依赖上一步的结果,分支不可预测,数据量很小但逻辑很绕。CPU 就是为这种活设计的。

另一类是数据流:把一张图里的一千万个像素都乘以同一个系数,或者把两个矩阵的对应元素相乘再累加。这类工作每一步都一样,只是作用在不同的数据上,数据量很大但逻辑很直。GPU 和 NPU 擅长这种活。

CPU:把一条路走快

核少但每个核复杂,能预测分支、乱序执行、处理中断。适合操作系统、协议栈、数据库事务、交互界面。代价是面积大、功耗高,整颗芯片的并行度有限。用 CPU 做矩阵乘不是不能做,只是只能用上几个核,大部分硅片在闲着。

GPU:把同一条路铺开

核多但每个核简单,一队线程执行同一条指令,靠海量线程掩盖延迟。适合图像处理、矩阵运算、仿真。代价是遇到分支发散就降速,任务太小则启动和传输开销压过计算。用 GPU 跑控制流,等于让一千个人排队走同一条 if 分支,效率很低。

把 GPU 拿去做协议解析,最先出问题的是分支。一个线程组里只要有人走 if、有人走 else,硬件就得把两条路都执行一遍,只是把不相干的线程遮住。分支越多、越随机,浪费越大。再叠加 kernel 启动和数据拷贝的固定开销,小包处理往往还不如 CPU 单核。

反过来,把 CPU 拿去做卷积,也不是不能跑。编译器会用 SIMD 指令一条处理几个数,但一条指令最多覆盖几个到十几个元素,而 GPU 的一条指令能覆盖几十个线程、每个线程又是多个数据。这个差距不是靠主频能补回来的。

延迟优先和吞吐优先:两个不同的目标

评价一颗芯片,先要问清楚优化目标。延迟优先看的是「一次请求多久返回」,吞吐优先看的是「一小时能处理多少请求」。这两个目标经常冲突。

CPU 的设计偏向延迟。它用大缓存把常用数据放在手边,用分支预测提前猜下一步,用乱序执行把等待的时间填满。代价是芯片面积和功耗,所以核数不能太多。数据库里的一次查询、编辑器里的一次按键,要的就是这种「单线程也快」。

GPU 的设计偏向吞吐。单个线程慢,但同时有几万个线程在跑,谁在等内存就切换到别人。只要任务足够多,整体吞吐很高;如果只有一个小任务,大部分线程无事可做,延迟反而比 CPU 高。视频转码、批量图像处理、训练模型,都是吞吐型工作。

这也是为什么「跑分」经常吵架。单核跑分测的是延迟,多核跑分测的是吞吐,GPU 跑分测的是另一种吞吐,NPU 的 TOPS 又是第三种口径。拿一个数字跨类型比较,就像拿卡车载重和跑车圈速比谁更强,数字都真实,结论却不成立。

通用指令和专用阵列:生态是另一半战场

硬件之外,还有一层经常被忽略:软件能不能用起来。CPU 有成熟的编译器、操作系统、调试器,任何语言都能编到 x86 或 ARM 上。GPU 有 CUDA、OpenCL、Vulkan 这些编程模型,图形和计算都有现成的库。NPU 的情况复杂得多,每家厂商有自己的编译器、模型格式和算子库。

算子这个词第一次出现,先解释一下:它是模型里的一个基本计算单元,比如一次卷积、一次矩阵乘、一次 ReLU 激活。一个神经网络就是几十种算子串起来的图。NPU 的硬件只实现了其中一部分,剩下的要么用软件模拟,要么回退到 CPU。

所以「NPU 有多少 TOPS」只说明它最擅长的那部分算得多快,不说明你的模型能全部跑在上面。模型转换工具会把不支持的算子切给 CPU,切得多了,数据在 NPU 和 CPU 之间来回搬,带宽和同步开销就把收益吃掉。选型时看算子支持列表,比看 TOPS 更有用。

专用芯片的生态锁定是实打实的成本。模型要转成厂商格式,驱动和框架版本要对上,换一家芯片往往意味着重做一遍转换和精度校验。小批量项目里,这部分人力经常比芯片本身还贵。

一次拍照识图,四个单元怎么分工

拿手机拍照识物这个场景走一遍,最容易看清它们为什么同时存在。按下快门以后,数据不是直接进 CPU,而是沿着一条流水线走:

一次拍照识图里的分工
传感器输出原始 Bayer 数据(每个像素只有一个颜色分量),曝光和对焦由硬件时序控制
ISPImage Signal Processor,图像信号处理器:去马赛克、降噪、白平衡、自动曝光,把原始数据变成可用图像
NPU跑人脸检测、场景分类、物体识别,输出框和类别
GPU预览渲染、滤镜、美颜、缩略图,处理像素级并行任务
CPU调度整条链路、处理中断、管理 buffer、写文件、刷新界面

这条链上每一环的约束都不同。ISP 要求确定性的时序,不能因为系统忙就丢帧;NPU 要求模型已经转换好、输入格式对齐;GPU 要求批次足够大,不然渲染管线启动一次不划算;CPU 则要处理「用户突然切到后台」这种没有规律的事件。

如果只留 CPU,理论上都能算,但预览会掉帧,快门延迟变长,机身发热也会明显。手机是被动散热,持续几瓦的功耗就会烫手,这是公开资料里的典型量级,不是本机实测。如果只留 NPU,它连操作系统都跑不了,也处理不了中断和文件系统,根本撑不起一台设备。

所以「能不能只留一颗」的答案不是算力够不够,而是这颗芯片能不能同时满足确定性时序、通用控制、并行吞吐和低功耗四个条件。目前没有一种架构能同时把这些做到最好,SoC 的选择是把不同任务分给最合适的单元。

板子上的现实:尺寸、功耗和成本

芯片不是抽象的算力。它要占面积、要供电、要散热,还要看良率。同样一块硅片,通用大核的面积大、复杂度高,专用阵列的结构重复、面积利用率高。这就是为什么专用芯片在特定任务上能效更好:它把硅片花在了真正重复的运算上。

板级设计也是选型的一部分。MPU 需要外挂 DRAM、Flash、电源管理芯片、晶振和一堆去耦电容,PCB 层数和布线难度都上去了;MCU 把这些大部分集成在芯片里,外围只要电源和少量接口,板子小、成本低、启动快。两块板都能点灯,背后的系统复杂度差一个量级。

成本还跟出货量有关。手机 SoC 一年出货几千万颗,研发费用摊得很薄;工控板一年几千片,同样的芯片卖得贵,方案也更保守。看到一块开发板比另一块贵很多,先别怀疑被坑,看看它多带了哪些器件、做了几层板、有没有人分摊研发。

文中提到的功耗范围、芯片面积关系属于公开手册和行业经验的量级描述,未在本机实测。本机没有开发板、示波器,也没有真实功耗测量条件,后面涉及实测的部分会单独说明。

出问题时先看哪里

下面这些现象在选型和调试里出现得很多。表里给的是第一反应该查什么,不是完整手册,但能省掉不少来回。

现象真实原因第一步查什么
以为 NPU 能代替 CPUNPU 只加速模型里的部分算子,控制、调度、文件和外设仍归 CPU看模型转换后的算子分配,统计有多少节点回退到 CPU
GPU 跑小任务反而更慢kernel 启动和显存拷贝的固定开销超过计算本身算任务的计算量、拷贝字节数和启动次数,三者摆在一起看
MPU 和 MCU 买混了MPU 通常要外挂 DRAM 和存储,MCU 把 Flash、SRAM、外设集成在片内看芯片有没有内置 Flash、SRAM 容量多大、有没有外部 DDR 接口
TOPS 很高但模型跑不动算力口径是稀疏或低精度,实际模型受带宽和算子支持限制核对 TOPS 是 INT8 还是 FP16、是否含稀疏,再查内存带宽
CPU 主频高但推理慢通用核缺少大矩阵单元,并行度上不去看实际算子用的是标量、SIMD 还是矩阵指令,核数用满了没有
专用芯片算子不支持编译器把不支持的层切回 CPU,数据来回搬运看推理日志里的 fallback 节点和每层耗时
板卡写着 MPU 却跑不了 Linux实际是 MCU,内存和 MMU 都不够查 SRAM 和 Flash 容量、有没有 MMU、厂商给的 SDK 是不是裸机
拍照预览卡顿但识别正常GPU 和 ISP 的 buffer 没对齐,CPU 在做格式转换看相机链路每段的格式、分辨率和拷贝次数

边界与代价

专用芯片的第一道边界是算子覆盖。硬件只认自己实现的那几种运算,模型里出现新结构,要么等厂商更新,要么回退 CPU。回退不是免费的,数据要从 NPU 的地址空间搬到 CPU 能访问的内存,一层层同步,最后可能比全 CPU 还慢。

第二道边界是精度。NPU 常用 INT8 或 FP16,能效高、带宽省,但量化会带来误差。误差在分类任务上可能只掉零点几个点,在检测框回归或超分任务上就可能肉眼可见。校准集选得不好,实验室指标和现场表现会对不上。

第三道边界是内存带宽。算力单元再快,也要等数据从 DRAM 搬过来。矩阵乘的算术强度越高,越不容易被带宽卡住;卷积第一层、逐点卷积、小 batch 推理,往往先撞上带宽墙。TOPS 只描述计算峰值,不描述喂数据的能力。

第四道边界是生态。模型格式、驱动版本、推理框架、调试工具,四样东西要同时对上。换芯片平台,通常要把模型转换、精度校准、性能剖析重做一遍。团队如果没有做过,排期里要留出这块时间。

第五道边界是调试。CPU 和 GPU 至少有成熟的性能计数器,能看到缓存命中、分支失败、线程占用;NPU 内部对开发者往往是黑盒,只能看到整层耗时和输入输出。出了问题,定位靠猜和二分,效率低很多。

这些代价不是否定专用芯片。它们在合适的任务上确实更快、更省电。真正要避免的是「一颗芯片什么都能干」的想象:通用性越强,单位任务能效越差;专用性越强,换任务越困难。选型就是在这条线上找位置。

今天就能验证的五个练习

  1. 查清自己手机或电脑的 SoC 型号。手机在设置里找「关于手机」,电脑用任务管理器或系统信息,再去厂商官网看规格页,把 CPU 核数、GPU 型号、NPU 算力各记一行。
  2. 拿一个你熟悉的批量任务,比如一百张图片缩放,把它拆成控制部分、并行部分、矩阵部分。控制部分写在纸上,想想哪一段必须由 CPU 做。
  3. 找同一颗芯片的两份宣传材料,比较 TOPS 的口径:是 INT8 还是 FP16,是稠密还是稀疏,一次乘加算一次还是两次运算。把差异写下来。
  4. 估算一次推理要搬多少字节:参数量乘每个参数的字节数,加上输入输出和中间激活。再除以芯片的内存带宽,看看理论最短时间是多少。
  5. 打开一个推理框架的文档,找到它支持的算子列表或后端列表,挑一个你常用的模型,看看有多少层可能回退到 CPU。

这五个练习都不需要开发板,当天就能做完。做完以后,你对「算力」这个词的理解会具体很多。

小结

CPU 负责控制流,强在单线程延迟和通用性;GPU 负责数据流,强在海量并行吞吐;NPU 负责矩阵和卷积,强在低精度高能效;MPU 是带外部内存、能跑完整操作系统的微处理器,和把外设集成在片内的 MCU 不是一回事。它们不能互相替代,是因为约束不同:延迟和吞吐、通用和专用、控制和数据。

下一篇从 CPU 内部往下钻一层:主频写着 3GHz,为什么一段循环跑起来每轮不止三个周期。流水线、分支预测和 IPC 会把「主频等于速度」这个直觉拆开。

下一篇:指令流水线会用一个能在这台机器上真跑的小程序,把每轮循环的周期数算给你看。