拿预训练网络做中间层可视化。前几层的特征图放大后还能看出边缘和条纹;再往深处,特征图边长只剩很小一块,放大全是马赛克。有人第一反应是模型坏了、越学越糊,于是删掉最后几层改用浅层特征做分类,结果指标反而更差。

这个困惑很典型:把「空间分辨率」和「特征质量」混成了一件事。深层特征图确实更小、更糊,因为每一层都在有意压缩空间、增加通道;但每个位置上的向量描述的范围更大,包含的信息更抽象。它不再像一张图,而更像一组「这一块区域有什么」的描述。要读懂它,得先把层级、感受野、下采样这三件事分开。

这篇讲清楚:浅层和中层各自在找什么,这种分工怎么堆出来,感受野怎么逐层放大,池化和步长换来了什么、牺牲了什么,平移不变性有多可靠,以及深层特征为什么不能直接当成人类命名的「猫耳朵」或「车轮」。

浅层看到边缘,这件事本身不神秘

第一层卷积的输入是像素,窗口只有 3×3 或 5×5。它一次只能看几个相邻像素的亮度关系,能表达的模式很有限:一边亮一边暗、一条细线、一个角点、一小块同色区域。这些对应的就是边缘和基础纹理。不是网络「想学边缘」,而是这个窗口尺寸下,能学的局部统计量本来就这么几种。

边缘之所以重要,是因为它信息量高。平坦区域像素值差不多,怎么变都不影响判断;物体边界、纹理交界处亮度剧变,往往对应材质、形状、遮挡。第一层把边缘找出来,后面的层才有东西组合。传统视觉也走这条路,只是算子靠人设计,网络靠数据学。

但「浅层等于边缘」是经验观察,不是定理。纹理丰富的数据集上,浅层可能偏向纹理;医学影像或灰度图上,可能学到斑点、管状结构。数据集变了,浅层也会变。当成固定规律解释所有模型,迟早碰壁。

「这一层在找边缘」只对「这一层在某个输入上的某些通道」成立。同一个通道换张图,响应可能完全不同。可视化帮你形成直觉,不是一张能写进文档的语义表。

层级不是设计出来的,是堆出来的

一个卷积层只做两件事:局部加权求和,加一个非线性激活。加权让输出看到一小块邻域,非线性让组合成为可能。只有线性层的话,堆多少层都等价于一层线性变换,深度没有意义。正是激活把结果扭曲,后面的层才能在前一层基础上构造更复杂的模式。

堆叠的效果是组合爆炸。第一层表达边缘;第二层把相邻边缘组合成拐角、短线段、简单纹理;第三层再组合成弧线、斑点、重复纹理;更深的层把部件组合成物体的一部分。这条链不是人写死的,是训练时为降低损失,网络自己找到的可行组合。

浅层:边缘、色块、简单纹理,空间分辨率高
中层:拐角、弧线、重复纹理、局部部件,分辨率下降
深层:部件组合与整体结构,空间很小,通道很多

这条层级有个前提:每层都要看到比前一层更大的范围。感受野一直只有 3×3 的话,堆一百层还是只看 3×3,组合不出更大结构。所以网络必须靠加深、加大核、加步长或池化,让后面的神经元看到更大的区域。这就是感受野和下采样要解决的问题。

层级的分工不是均匀的。有的网络在浅层就用大 stride,空间缩得很快,层级被压缩;有的保持高分辨率到最后,计算贵但定位准。同一个「深层」,在不同网络里对应的实际范围可能差很多。看结构不能只看层数,要看每层的步长和核大小。

感受野:一层层放大到多大

感受野指一个神经元在原始输入上能影响到的区域。第一层 3×3 卷积,感受野就是 3×3。第二层再卷 3×3,它看到的 3×3 里,每个位置又来自第一层的 3×3,合起来覆盖 5×5。每加一层 3×3、步长 1,感受野加 2。这个加法直观,但一旦有步长,就不是简单相加了。

通用递推两步:新感受野等于旧感受野加「核减一」乘「上一层跳跃间隔」;新跳跃间隔等于旧间隔乘本层步长。跳跃间隔是相邻两个输出位置在原始输入上相隔多远。步长变大,间隔变大,同样的核就能跨得更远。

下面用标准库递推三层的感受野。第一层步长 1,第二层步长 2,第三层步长 1,核都是 3×3:

def receptive(strides, k=3):
    r, j = 1, 1
    rows = []
    for idx, s in enumerate(strides, 1):
        r = r + (k - 1) * j
        j = j * s
        rows.append((idx, s, r, j))
    return rows, r

rows, rf = receptive([1, 2, 1])
print("mixed strides:")
for row in rows:
    print(" layer", row[0], "stride", row[1],
          "RF", row[2], "jump", row[3])
print("final RF:", rf)

rows2, rf2 = receptive([1, 1, 1])
print("all stride 1 final RF:", rf2)

本机实际输出:

mixed strides:
 layer 1 stride 1 RF 3 jump 1
 layer 2 stride 2 RF 5 jump 2
 layer 3 stride 1 RF 9 jump 2
final RF: 9
all stride 1 final RF: 7

先看混合步长。第一层后感受野 3,间隔 1。第二层步长 2:感受野 3 加 2 乘 1 等于 5,间隔变成 2。第三层步长 1:感受野 5 加 2 乘 2 等于 9,间隔不变。最终能看到原始输入 9×9。同样三层全用步长 1,感受野只有 7×7。

差别来自第二层的步长。它让第三层的窗口在原始图上跨得更远,同样加一层多扩了 2。这也解释了下采样为什么能快速扩大感受野:不是加大核,而是让后面的层站得更稀疏,每个位置代表更大区域。代价是分辨率下降,位置变粗。

理论感受野和有效感受野是两回事。公式算出 9×9,不代表 81 个像素影响相同。实际网络中心权重通常远大于边缘,有效感受野往往更小,形状也不一定是正方形。看到「感受野覆盖全图」就断言模型看到全局,不成立。要用遮挡实验测,不能只靠公式。

池化与步长:用分辨率换不变性

池化是最早的下采样。最大池化在小窗口里取最大值,平均池化取平均。作用有两个:把特征图变小,减少后续计算;让输出对窗口内的小幅位移不敏感。物体在窗口内移几个像素,最大值可能还是同一个。

最大池化偏向「有没有」:窗口里有一个强响应就保留。平均池化偏向整体强度:普遍强才强。检测常用最大池化,因为更关心模式是否出现;需要保留亮度或纹理能量时,平均池化更合适。选择取决于下游要什么。

步长卷积是另一种下采样。它不在卷积外额外取最大或平均,而是卷积时直接隔几个位置取一个输出。好处是下采样和特征提取合在一起,表达更灵活;坏处是步长和核大小没配好时,会漏位置,或出现棋盘状伪影。伪影来自不同输出位置覆盖的输入区域不均匀。

下采样的代价很直接:分辨率降了,小目标和精细边界就难恢复。一个 4×4 的目标经过两次步长 2,只剩 1×1,再一次池化就没了。检测任务因此常用特征金字塔,把不同深度的特征图都拿出来:深层负责语义,浅层负责位置。分类对位置没那么敏感,可以一路缩到最后。

不变性也不免费。池化带来的只是「窗口内小幅位移大致不变」,窗口一大,两个不同物体可能被一起池化,反而丢区分度。步长带来的不变性更弱,只是让相邻输出共享一部分输入,不是真正的数学不变。把「池化等于平移不变」当定律,是很多解释错误的起点。

平移不变性的真实边界

卷积加池化确实让网络对小幅平移更宽容。物体右移两个像素,卷积响应也右移,池化再把它压回大致相同的位置,分类头看到的向量变化不大。这叫近似平移不变,注意是近似,不是严格。

边界在哪里?第一,位移幅度要和下采样比例匹配。网络总步长 32,物体移 1 个像素,最后特征图上不到一个像素,影响很小;移 20 个像素,移了大半个格子,响应就明显变化。第二,位移跨过池化窗口边界,输出可能跳变。第三,物体一部分移出感受野,信息直接丢失。

更麻烦的是,现代网络为了精度往往减少池化和步长,保留更多空间信息。这提高定位能力,也削弱平移不变性。实际做平移测试,同一张图平移一两个像素,分类结果和置信度都可能变。所以「卷积神经网络(CNN)天生平移不变」是过度简化,实际不变性取决于结构、训练方式和测试幅度。

旋转和缩放就更不在卷积的保证范围内。卷积核是固定方向的模板,物体转 90 度,边缘方向变了,同一个核的响应会弱很多。缩放也一样,训练时见过的尺寸和测试时不同,响应尺度对不上。数据增强能缓解,但不是根本解决。真正的不变性要么靠更大的数据集覆盖变换,要么靠专门的结构设计。

工程上比较实用的做法是主动测:拿一批图,分别做小幅平移、缩放、裁剪,看指标掉多少。掉得少,说明不变性够用;掉得多,就要在训练增强或推理策略上补。不要靠「理论上应该不变」来判断,要靠数字。

深层特征不是人类命名的概念

很多人以为网络深了就自然学会「猫耳朵」「车轮」。实际更像:每个通道是一组权重的响应,可能对某种纹理、颜色组合、形状片段敏感。单个通道往往同时响应几种看似无关的模式,多个通道的组合才对应某个语义。这种分布式表示让表达能力强,也让「一个通道等于一个概念」站不住脚。

特征可视化能画出某个通道最敏感的图案,看起来像羽毛、眼睛、文字。但那是优化出来的图像,不等于这个通道在真实图片里只认这个图案。换张图,它可能对别的东西响应更强。可视化照出的是偏好,不是词典。

Grad-CAM 这类归因方法也有类似局限。它把最后一层特征图的梯度加权求和,得到一张粗粒度热力图。热力图分辨率受限于最后一层特征图大小,通常只有 7×7 或 14×14,放大后很粗。高亮在背景上,可能是模型真依赖背景,也可能是归因分辨率不够。看到热力图就下结论,容易把工具的问题算到模型头上。

这带来一个实际影响:不要用「中层特征对应部件」这种假设做硬编码。想用某层特征检测车轮,直接取某个通道做阈值,通常不稳。更可靠的是拿特征做线性探针或微调,用数据验证这层是否包含任务需要的信息。层级是有用的先验,不是精确的语义地图。

把深层特征当成「已经理解了物体」会带来安全风险。模型可能在背景、纹理或拍摄设备上找到相关性,做出正确预测。这种相关性在训练集成立,换域就失效。评估必须看跨场景表现,不能只看同分布测试集。

出了问题先查哪里

现象真实原因第一步查什么
浅层特征图清楚,深层放大像噪声深层空间分辨率低、通道多,单通道可视化没有意义打印每层输出形状,改看多层通道组合或降维结果
换输入分辨率后指标明显下降训练和推理的缩放比例不同,特征统计对不上对齐训练分辨率与缩放策略,记录原图到输入的倍率
平移几个像素后分类结果变了下采样对齐敏感,池化窗口边界造成跳变做固定步长的平移测试,统计置信度变化
热力图高亮在背景上模型依赖背景相关性,或归因分辨率太粗看最后一层特征图尺寸,换中间层归因,检查数据偏差
深层特征聚类不按类别分特征由训练目标决定,不是按语义组织用线性探针测该层,确认标签和损失是否匹配任务
池化后小目标消失目标在窗口内占比太小,被平均或最大值淹没算目标在每层特征图上的像素数,检查池化核大小
理论感受野很大,模型却只看局部有效感受野远小于理论值,权重集中在中心做遮挡实验,移动遮挡块看输出变化范围
预训练模型换域后中间层特征偏移浅层统计随域变化,归一化参数不匹配比较通道均值和方差,考虑微调或重新归一化

表里最容易被误判的是第一行和第四行。深层特征图「糊」是设计结果,不是故障;热力图「不准」可能是归因粒度问题。先分清是可视化的问题还是模型的问题。

边界与代价

层级特征的好处是能用少量参数覆盖大量模式,坏处是每层都在丢信息。空间分辨率一路下降,位置和精细结构被压进通道;到了最后一层,分类够用,检测和分割就不够。多任务网络通常要把浅层特征也接出来,用跳连或特征金字塔补回位置信息。

感受野也不是越大越好。太大,不同物体被混进同一个神经元,小目标被背景淹没;太小,看不到整体。实际网络要在不同尺度都有输出,让下游选。

下采样省了计算,也带来对齐问题。输入平移、缩放、padding 变化,都会改变特征图相位,导致同一物体在不同位置的响应不一致。这不是 bug,是离散采样的固有现象。需要严格一致性时,要么固定预处理,要么用更稳健的结构。

最后是解释成本。层级越深,特征越抽象,越难用人类语言描述。这不是网络故意隐藏,而是分布式表示本身不对应一对一的概念。接受这一点,评估和调试才会转向「用数据验证行为」,而不是「找一个通道给它起名字」。

当天能自验的五个练习

这五个练习都只用标准库,重点是手算和对照,不需要训练模型。每个都能在半小时内看到结果。

  1. 用递推公式算三层 3×3 卷积、步长分别为 1、2、1 的感受野,和程序输出对照。再把第二层步长改成 1,看最终感受野从 9 变成 7。
  2. 手算 5×5 输入经过两层 3×3 valid 卷积后的尺寸,再用公式核对。解释为什么尺寸是 1×1,而不是 0×0。
  3. 写一个小卷积加最大池化的程序,输入一张 8×8 的手绘图案,把它整体右移 1、2、4 个像素,比较输出的最大值位置,记录不变性在哪一步开始失效。
  4. 用公式算 224×224 输入经过四次步长 2 后的特征图尺寸,再算对应的理论感受野,判断最后一层一个位置覆盖原图多大比例。
  5. 做遮挡实验:在 32×32 的输入上滑动一个 8×8 的遮挡块,记录输出变化最大的位置,比较它和理论感受野的差异。

特征有了,下一步是判断

卷积把局部模式提取出来,堆叠把局部组合成更大结构,下采样把空间压成更抽象的描述,感受野决定每个描述能看多远。浅层边缘、中层部件、深层整体是一条经验性的分工,不是严格语义层级。理解这条链,能判断模型为什么在小目标、换分辨率、平移后出问题。

特征最终要落到一个判断上:这张图是什么。下一层要讲的就是这个动作:网络输出的那组分数是什么,softmax 怎么把它变成概率,交叉熵为什么对「自信的错误」罚得特别重,以及训练集 99%、线上一团糟时,问题通常出在数据划分还是指标口径上。