一个小分类模型在 notebook 里跑到 96%,交出去做成服务,第二天就被退回来:所有图片都判成同一个类,置信度还都不低。翻请求日志,送进来的数组最小值是 0,最大值是 255;而训练脚本里明明写着 img = img / 255.0。另一个人接手排查,把单张图直接喂给模型,框架当场抛出一行报错:Expected 4D input (got 3D input)。
这两个报案看着不相干,根子是同一件事:训练时的预处理和推理时的预处理不是同一套。模型从来没见过「图片」这种东西,它只认张量——一个带形状和数值类型的多维数组。形状少一维、数值大 255 倍、通道顺序反了,对模型来说都不是小偏差,而是换了一种输入。
这篇按进模型的顺序拆:像素、HWC 与 CHW、batch 维、数值范围、归一化、resize、通道顺序,最后算一张图占多少内存。每一道关都对应一类线上事故。
先看两个报案:形状不对,数值也不对
先复盘第一类。训练脚本里,图片经过解码、缩放、除 255、转 CHW、拼 batch,是一条完整流水线。推理服务换了人写,只做了「解码」和「转张量」,缩放、除 255、换通道顺序全漏了。代码能跑,因为形状碰巧对上;结果全错,因为数值范围完全不同。
第二类更直接。单张 RGB 图的数组形状是 (高, 宽, 通道),三个维度。卷积网络要的是 (批大小, 通道, 高, 宽),四个维度。少的那一维不是可有可无的装饰,而是「这一次要处理几张图」的声明。框架不会替你猜,所以直接报 4D 和 3D 的差异。
这两类问题本地很难暴露:本地脚本一张一张图手动处理,出错了肉眼能看出来;服务里图是二进制流进来的,预处理散在几个函数里,没人完整跑一遍训练时的流程。最省事的办法是把预处理写成两边共用的代码,并在入口打印形状、数值范围、通道顺序。
像素是采样值,不是一张缩小的人眼画面
数字图像的本质是采样。真实光线连续,传感器在规则网格上按固定间隔记录亮度,再量化成整数。网格的一格就是一个像素。它常被误解成「一个小方块的颜色」,更准确的说法是「某个位置上的一个或几个采样值」。
采样带来两个直接后果。第一,分辨率决定能看多细:4000 像素宽的原图缩到 224,原来占三个像素的螺丝钉不到一个像素,信息在缩放这一步就丢了。第二,采样值有量程:8 位整数只有 0 到 255 共 256 个等级,16 位有 65536 个,浮点可以是连续值。同一场景换种量程,数组里的数字完全不同。
还有坐标系。人看图关心「左上角有什么」,程序关心「第几行第几列」。数组第一维是行,向下增长;第二维是列,向右增长。行号越大越靠下,和数学里 y 轴向上相反。裁剪、画框、坐标变换搞反方向,框会上下颠倒,日志里很难看出来。
size 是「宽、高」,数组的 shape 是「高、宽、通道」。同一个变量名 size,在不同库里含义可能相反,这是视觉代码里最便宜也最常踩的坑。看到尺寸先问一句:这是宽高还是高宽。HWC、CHW 和 batch:四个维度各管什么
一张彩色图用三个维度描述:高、宽、通道,记作 HWC。H 是行数,W 是列数,C 是每个像素的采样数,彩色通常是红绿蓝。三维合起来装着 H × W × C 个数字。所谓「3×4 的 RGB 小图」,就是 3 行、4 列、每格 3 个通道,共 36 个数字。
内存是一维的,多维数组要按某种顺序摊平。HWC 先走完一行像素,再走下一行;像素内部先红再绿再蓝。取第 y 行、第 x 列、第 c 通道,偏移量是 ((y × W) + x) × C + c。这个公式值得记,很多「取错像素」的 bug 就是偏移算错。
框架更常用 CHW:先按通道分开,通道内部再按行列排列。同一张图从 (3, 4, 3) 变成 (3, 3, 4),数字没少,只是顺序变了。PyTorch 卷积默认 NCHW,TensorFlow 不少场景默认 NHWC,ONNX 可能在导出时固定其中一种。差异不必背,但要在模型入口确认。
最前面的 N 是 batch,表示这一次送几张图。哪怕只推理一张也要写 1,形状是 (1, 3, H, W)。加这一维的操作叫 unsqueeze、expand_dims 或 reshape,本质都是 3 维变 4 维。batch 的意义不只是批量发送:训练时一批一起算梯度更稳,推理时一批一起算硬件利用率更高,代价是内存按批大小线性增长。
下面这段只用标准库,把一张 3×4 的 RGB 小图从 HWC 转成 CHW,并做逐通道归一化。数值是手工编的,不依赖任何图片文件:
img = [
[[10, 120, 200], [12, 118, 198], [14, 116, 196], [16, 114, 194]],
[[20, 130, 210], [22, 128, 208], [24, 126, 206], [26, 124, 204]],
[[30, 140, 220], [32, 138, 218], [34, 136, 216], [36, 134, 214]],
]
h = len(img)
w = len(img[0])
c = len(img[0][0])
print("HWC shape:", h, w, c)
print("pixels:", h * w, "values:", h * w * c)
chw = [[[img[y][x][ch] for x in range(w)] for y in range(h)] for ch in range(c)]
print("CHW shape:", len(chw), len(chw[0]), len(chw[0][0]))
mean = [0.485, 0.456, 0.406]
std = [0.229, 0.224, 0.225]
norm = [[[round((img[y][x][ch] / 255.0 - mean[ch]) / std[ch], 3)
for x in range(w)] for y in range(h)] for ch in range(c)]
for ch in range(c):
print("channel", ch, norm[ch])
print("uint8 bytes:", h * w * c)
print("float32 bytes:", h * w * c * 4)
本机实际输出:
HWC shape: 3 4 3
pixels: 12 values: 36
CHW shape: 3 3 4
channel 0 [[-1.947, -1.912, -1.878, -1.844], [-1.775, -1.741, -1.707, -1.673], [-1.604, -1.57, -1.536, -1.501]]
channel 1 [[0.065, 0.03, -0.005, -0.04], [0.24, 0.205, 0.17, 0.135], [0.415, 0.38, 0.345, 0.31]]
channel 2 [[1.681, 1.647, 1.612, 1.577], [1.856, 1.821, 1.786, 1.751], [2.03, 1.995, 1.96, 1.925]]
uint8 bytes: 36
float32 bytes: 144
把输出对上:HWC 是 3 行 4 列 3 通道;CHW 是 3 个通道、每通道 3 行 4 列。归一化后的红通道几乎全负,因为这张图红值只有 10 到 36,远低于 ImageNet 均值 0.485(折算回 0–255 约 124)。这说明归一化不会把数据「摆正」,它只是按固定参数做线性变换;参数和数据域不匹配,分布就整体偏掉。
为什么用 ImageNet 的均值和标准差?因为多数预训练模型在 ImageNet 上训练,训练时就用的这组数。推理要复现同一套变换,否则输入分布和训练时不一样。这也说明「用自己的数据算均值方差」只适合从零训练,不能随便套到预训练模型。
0–255 还是 0–1:归一化做了什么
8 位整数图的值域是 0 到 255。直接转浮点喂网络,输入量级就是几十到几百;第一层权重通常只有零点几,相乘后激活被放大几百倍。训练时会梯度爆炸、损失震荡;推理时 softmax 迅速饱和,输出接近独热向量,看着「置信度很高」,实际全错。
最基础的一步是除以 255,把范围压到 0 到 1。再做一步是逐通道标准化:每个通道减去自己的均值,再除以标准差。公式是 (x / 255 − mean) / std,三个通道各用各的均值和标准差。做完之后,输入大致以 0 为中心、尺度接近 1,网络的激活值落在设计时的量级里。
注意「逐通道」。不是整张图算一个总均值,而是红、绿、蓝各一个。自然图像里三个通道分布不同,绿色通常更强,蓝色更弱;用总均值会把差异抹掉。预训练模型给的 mean/std 也是三个数,不是两个。
还有数据类型。解码出来的数组常是 uint8,转浮点后是 float32,内存按 4 字节算。有的框架支持 float16,省一半,但要验证范围和精度。uint8 直接当 float 用,Python 不报错,只会按整数静默运算;除以 255 时用了整数除法,结果变成 0 和 1 的阶梯,更难发现。
resize 不是缩放图片,是在重新采样
模型输入尺寸固定,常见 224×224 或 384×384。现实图片尺寸各异,进模型前必须 resize。但 resize 不是「把图变小」,它是在新网格上重新采样,不同做法得到不同像素值。
最直接的是强行拉到目标宽高,代价是长宽比变了:瘦高物体被压扁,圆变椭圆,对形变敏感的类会明显掉点。第二种是先按短边缩放、再从中间裁正方形,保住比例但可能裁掉目标。第三种是 letterbox:按比例缩放、空白补固定色,像电影加黑边;不裁不变形,代价是多出无意义的边,检测框坐标也要同步换算。
插值也要对齐。最近邻取最近的原始像素,快,适合像素风或掩码图,但缩小时跳采样,细纹理会闪。双线性用周围四点加权,平滑,是多数默认。双三次用更多邻点,放大更锐也更贵。区域插值按覆盖面积平均,缩小时能减少摩尔纹。
还有抗锯齿。很多库缩小图像时默认不做抗锯齿,直接按新网格采样,高频纹理会折回低频,产生假花纹。训练开了、推理没开,同一张图的像素值就不一样。指标通常只掉一两个点,很难注意,排查却很折磨。
尺寸变化还影响所有几何量。检测框、关键点、相机内参都要跟着同一套变换走。训练时做了什么增强、按什么顺序,推理就按同样顺序。增强可以随机,推理预处理必须确定。
RGB、BGR、Alpha 与灰度:通道里的暗坑
彩色图的通道顺序通常是红、绿、蓝,但不是所有库都这么认为。有些老牌视觉库按蓝、绿、红存,读出来第一通道是蓝。把 BGR 当 RGB 喂模型,颜色整体偏蓝,肤色、植被、天空这类依赖颜色的类别先出错。更麻烦的是逐通道均值和标准差跟着错位,红通道用了蓝的统计量。
透明通道是另一个坑。带 alpha 的图是四通道,很多模型只收三通道,直接喂报错;丢掉 alpha 又会让半透明区域变成未合成的原始色,边缘出现黑边或白边。正确做法是先按背景色合成,再转三通道。透明图常见的话,这一步要写进预处理。
灰度图只有一个通道,预训练模型通常要三通道。常见做法是复制三份凑成三个相同通道。能跑,但模型在彩色图上学到的第一层滤波器,对三通道相同输入的响应和对彩色输入不同,效果未必一致。业务本身就是灰度图的话,从零训练或改用单通道输入层更合适。
位深也要看。16 位图直接当 8 位处理,会截断或溢出,亮部一片死白,医学、遥感图像尤其常见。色彩空间同样如此,CMYK、YUV、线性光、sRGB,名字都叫「图」,数值含义不同。预处理第一步该确认「什么格式、几个通道、什么位深、什么色彩空间」,而不是直接 resize。
一张图占多少内存,怎么手算
算法很简单:元素个数乘每个元素的字节数。224×224 的 RGB 图有 224 × 224 × 3 = 150528 个元素。uint8 是 150528 字节,约 147 KB;float32 是 602112 字节,约 588 KB。乘上批大小就不同了:32 张一起推理,光输入约 18.4 MiB。
真正吃内存的不是输入,是中间激活。每层卷积都会产生新特征图,训练还要保存以便反向传播。224×224 的图过几十层,通道从 3 涨到 64、128、256,特征图总量很容易到几十兆甚至上百兆。批大小翻倍,激活内存大致也翻倍,所以显存通常先卡在 batch 上,而不是模型权重。
再算两个极端。1024×1024 的 RGB 图转 float32 是 1024 × 1024 × 3 × 4 = 12 MB。4K 单帧 3840×2160×3×4 约 94.9 MiB,30 帧一秒约 2.8 GB,还没算解码缓冲。所以视频模型不会把整段读进内存,而是按帧或片段处理。这些数字都按未压缩原始数组算,实际还有对齐和临时缓冲开销。
知道算法后很多现象能提前判断。比如「batch 加到 16 就显存不足」,先算输入和激活量级,再看是不是某层特征图特别大;「预处理比推理还慢」,先看是不是在 Python 循环里逐像素转 float。内存问题绝大多数不是玄学,是乘法。
出问题先查这八行
下面这张表按「现象」组织。先定位最像的一行,再按第三步去查,不要一上来就怀疑模型结构。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 报 Expected 4D input,得到 3D | 单张图只有高、宽、通道,缺 batch 维 | 打印模型入口形状,在最前面补一维 |
| 所有图判成同一类,置信度还很高 | 0–255 没归一化,激活值饱和 | 打印输入的 min、max、mean,确认是否除过 255 |
| 颜色整体偏蓝或偏红,指标掉一截 | BGR 与 RGB 顺序反了 | 比较同一个像素的三通道值和原图颜色 |
| 报期望 3 通道,实际 4 通道 | RGBA 的透明通道没去掉 | 看最后一维大小,先合成背景再转三通道 |
| 小目标检测不到,大目标正常 | resize 压得太狠,细节在采样时丢了 | 记录原图尺寸、缩放比和目标的最小像素数 |
| 同一张图离线在线结果不同 | 插值方式、裁剪策略或抗锯齿设置不一致 | 把两边预处理参数逐项对齐并保存版本 |
| batch 加到某个值就显存不足 | 输入和中间激活按批大小线性增长 | 按元素数乘字节数估算,再看最大那层特征图 |
| 归一化后数值全偏负或分布很窄 | mean/std 与当前数据域不匹配 | 统计自己数据的通道均值和方差,与预设值对比 |
前四行占了实际事故的大多数。共同点是「程序不报错」:形状碰巧对、数值能算、颜色能显示,只有指标在悄悄下降。所以排查不能靠看输出图,要靠数字:形状、范围、通道,三样固定写在模型入口。
边界与代价
把预处理对齐,是视觉任务里性价比最高的一步,但也要代价。固定尺寸放弃原始分辨率,小目标吃亏;三通道丢掉透明度和位深;统一归一化把不同来源拉到同一分布,遇到域外数据反而脆弱。
用 float32 保精度,内存翻四倍;float16 省内存,范围和精度都要重新验证。归一化参数抄预训练模型省事,但和数据分布可能差很远;自己统计贴合,换权重就得重来。没有绝对对错,关键是训练推理同一套,并固定成配置。
还有一层常被忽略:可复现性。解码库不同、版本不同,同一个 JPEG 解出来的像素可能有细微差异;缩放算法不同,边缘像素也会差一两个值。分类任务无所谓;测量、配准这类需要精确像素的任务,必须固定库和参数。稳的做法是把预处理版本号写进模型元数据,线上离线取同一套配置。
最后一句:不是所有视觉任务都需要张量和神经网络。尺寸测量、颜色阈值分割、模板匹配在规则明确、样本稳定的场景里更简单也更快。张量的价值是从大量样本里学模式,问题本身没有模糊性时,用它反而是绕远路。
当天能自验的五个练习
五个练习都只用标准库,不需要深度学习框架,每个半小时内能看见结果。
- 用纯 Python 造一张 3×4 的 RGB 图,打印 HWC 形状,再转成 CHW 打印形状。手算第 2 行第 1 列第 1 个通道在摊平数组里的下标,用程序验证是不是
((2×4)+1)×3+1。 - 把同一张图分别做「不除 255」和「除 255」两次,打印各自的均值和最大值。观察两者正好差 255 倍,并解释为什么这个差异会让第一层激活大出几百倍。
- 用纯 Python 写最近邻缩小,把一张 4×4 的灰度矩阵缩成 2×2,列出被丢掉的 12 个像素。再想一遍:如果这 12 个像素里正好有小目标,会发生什么。
- 找一张真实图片,打印它的数组形状、数据类型、最小值、最大值和三个通道的均值。判断它是否已经归一化、是否是 BGR、是否带 alpha。
- 手算 224×224×3 在 uint8、float32、float32 且 batch 为 32 三种情况下的字节数,再和任务管理器或显存监控里的实际占用对比,说明差额来自哪里。
把地基打平,再去看卷积
一张图进模型,先是一组采样值,被组织成 HWC 或 CHW 的多维数组,再补上 batch 维,转成合适的数值类型,按训练时同样的参数归一化、缩放、排通道。任何一步不一致,模型看到的就不是它认识的世界。形状、范围、通道顺序,这三样是视觉工程的地基,比换模型、调参更能决定线上效果。
地基打平之后,才能真正看模型内部在做什么。下一层要回答的是:一个 3×3 的小窗口,凭什么能在图上扫出边缘和纹理;它扫过之后得到的特征图,尺寸为什么变小,边缘为什么发黑,多个通道又是怎么合到一起的。下一篇从一次手算的卷积开始,把这些问题一个个拆开。