上一篇留下一个结论:单层网络在 XOR 上最多只能对三个点,准确率 75%。要解决它,必须加层。但「加层」这两个字很容易被误解成「把线性计算重复几遍」。如果只是重复线性计算,加一百层也没用,因为线性函数的复合仍然是线性的。

真正的关键组合是:线性层负责变换,激活函数负责弯折,两者交替堆叠。线性层把输入投影到新的空间,激活函数在那里切一刀,下一层再把切出来的片段组合起来。层数越多,能拼出的形状越复杂。

这篇用两个手写的小实验把这件事说透。第一个实验用两个 ReLU 神经元拼出 XOR,你会看到每个神经元只负责一个角落,第二层把两个角落加起来。第二个实验把激活去掉,同样的权重和结构,输出立刻变成常数。然后讲清楚深度到底带来什么、训练深网络为什么变难、以及宽度和深度该怎么取舍。

两个折线,拼出 XOR

XOR 的四个点里,正类是 (0,1) 和 (1,0),负类是 (0,0) 和 (1,1)。与其画一条线去分,不如换一个思路:用两个神经元分别负责「横坐标比纵坐标大」和「纵坐标比横坐标大」,再把它们的输出加起来。

第一个神经元算 x1 - x2 过 ReLU:(1,0) 得 1,(0,1) 得 0,两个相等时得 0。第二个神经元算 -x1 + x2 过 ReLU:(0,1) 得 1,(1,0) 得 0。最后把两个输出相加,大于等于 0.5 判为正类。

def relu(z):
    return max(0.0, z)

inputs = [(0, 0), (0, 1), (1, 0), (1, 1)]

print("带 ReLU 的两层网络:")
for x1, x2 in inputs:
    h1 = relu(1 * x1 - 1 * x2 + 0)
    h2 = relu(-1 * x1 + 1 * x2 + 0)
    y = h1 + h2
    print((x1, x2), "h1", h1, "h2", h2, "y", y,
          "预测", 1 if y >= 0.5 else 0)

print("去掉激活函数,两层线性:")
for x1, x2 in inputs:
    h1 = 1 * x1 - 1 * x2 + 0
    h2 = -1 * x1 + 1 * x2 + 0
    y = h1 + h2
    print((x1, x2), "h1", h1, "h2", h2, "y", y)

本机实际输出:

带 ReLU 的两层网络:
(0, 0) h1 0.0 h2 0.0 y 0.0 预测 0
(0, 1) h1 0.0 h2 1 y 1.0 预测 1
(1, 0) h1 1 h2 0.0 y 1.0 预测 1
(1, 1) h1 0.0 h2 0.0 y 0.0 预测 0
去掉激活函数,两层线性:
(0, 0) h1 0 h2 0 y 0
(0, 1) h1 -1 h2 1 y 0
(1, 0) h1 1 h2 -1 y 0
(1, 1) h1 0 h2 0 y 0

带 ReLU 时,四个点全部判对。去掉 ReLU 后,四组输出全是零,等于什么都没判断。同样的两层结构、同样的权重矩阵,只差一个激活函数,结果从完全正确变成完全无效。这就是非线性的作用:它让两层不再是「一层」。

也可以从几何上理解。ReLU 把平面沿一条线折了一下,折完之后,原本线性不可分的点落到了不同的折面上。第二层再把这些折面组合起来,就能围出一个非线性区域。每加一层,就多折一次,能围出的形状更复杂。

注意这两个神经元的分工。第一个只关心「横比纵大」,第二个只关心「纵比横大」,它们各自只解决一个很局部的问题,单独拿出来都不足以判断 XOR。第二层把两个局部判断加起来,才得到完整答案。这正是深度网络的工作方式:每一层解决一小块,后面的层负责组合。没有第一层的局部划分,第二层拿不到可组合的素材;没有第二层的组合,第一层的输出也只是一堆碎片。

这个结构还可以推广。遇到更复杂的区域,比如「三个条件里满足任意两个」,可以增加第一层神经元的数量,每个负责一个条件;第二层按权重把满足条件的数量加起来,再设一个阈值。层数不一定增加,但宽度增加了。深度和宽度都是提高表达能力的办法,区别在于它们组合方式不同。

没有激活,两层会塌成一层

把两个线性层写成矩阵乘法:第一层是 h = W1 * x + b1,第二层是 y = W2 * h + b2。把第一层代进第二层,得到 y = (W2 * W1) * x + (W2 * b1 + b2)。括号里的 W2 * W1 仍然是一个矩阵,整个式子仍然是一个线性变换。

下面把两个矩阵乘起来,看看等效权重长什么样:

W1 = [[2, -1], [-1, 2]]
W2 = [[1, 3], [2, -1]]
effective = [[sum(W2[i][k] * W1[k][j] for k in range(2))
              for j in range(2)] for i in range(2)]
print("等效权重矩阵:", effective)

本机实际输出:

等效权重矩阵: [[-1, 5], [5, -4]]

不管原来的两个矩阵多复杂,乘完都只是一个两行两列的矩阵。十层、一百层也一样,最终都能压成一个等效矩阵。层数增加了参数量和计算量,但表达能力没有增加。这也解释了为什么「堆线性层」是一种常见的无效努力。

反过来,加了激活之后,矩阵乘法就不能再合并了。ReLU 是非线性的,ReLU(W1 * x) 不能写成某个矩阵乘 x。正是这个「不能合并」,让每一层都保留了独立的作用,深度才有意义。

可以用一个简单的计数看出差别。两个线性层复合,等效矩阵的元素是两组权重的乘积之和,它的秩不会超过原来两个矩阵中较小的秩。也就是说,无论怎么组合,能表达的空间都受限于这个秩。激活函数打破了这种限制,它让每一层的输出带上「开关状态」,不同样本走不同的路径,整体不再是单一的线性映射。

这也解释了一个常见现象:把网络里的激活函数误写成恒等映射,训练损失可能仍然会下降一点,但验证指标很快停住。因为模型还在学,只是它学的是一个线性模型,能力上限很低。排查时不要只看「能不能跑」,要看「上限对不对」。

判断一个网络是不是「真深度」,看层与层之间有没有非线性激活。如果全是 Linear,或者激活被写成了恒等函数,这个网络在数学上等价于一层,训练再久也突破不了线性上限。

一层网络的标准组成

在框架里,一层通常写成「线性变换加激活」。线性变换负责把输入从旧空间映射到新空间,激活负责引入非线性。两者成对出现,顺序一般是先线性后激活。

线性变换:输入乘权重矩阵,加偏置。它决定这一层看哪些特征组合、把它们投射到多少维。
激活函数:逐元素作用,把负值压掉或压到区间里。它决定这一层的输出是否还保持线性。
归一化与残差:可选的辅助结构,负责稳定训练和传递梯度。它们不替代激活,主要解决深网络难训的问题。

一层的参数量由输入维度和输出维度决定。输入 128 维、输出 256 维,权重矩阵就是 128 乘 256,三万多个参数,再加 256 个偏置。如果再接一个同规模的层,参数量继续翻倍。模型大小主要花在这些线性层上,激活函数本身没有参数。

顺序不能随便反。先激活再线性,等价于对输入先做一次非线性再投影,表达能力仍然在,但实践中不如「先线性后激活」常见。更重要的是,输出层通常不接隐藏层那种激活,而是按任务选 sigmoid、softmax 或直接输出。输出层的选择要和损失函数匹配,否则训练会很别扭。

残差连接是后来加进这个结构里的一个改动:把一层的输入直接加到它的输出上,让信息可以跳过这一层。它不改变「线性加激活」的基本单元,但改变了梯度的传播路径。层数很深时,残差能让梯度有一条更短的回传通道,训练因此稳定很多。Transformer 的每个块都带残差,原因就在这里。

归一化层放在线性层和激活之间,或者放在残差之后,具体位置依结构而定。它的作用是让每层的输入分布保持在一个相对稳定的范围,减少内部协变量偏移。它不是激活的替代品,也不负责表达非线性,只负责让训练更顺。把它和激活混为一谈,是初学时常犯的概念错误。

深度到底带来什么

深度带来的第一个好处是特征复用。浅层学到的是局部、简单的模式,深层把这些模式组合成更抽象的概念。图像网络里,浅层可能学到边缘,中间层学到纹理和部件,深层学到物体;文本网络里,浅层学到词形,深层学到句法和语义。每一层不需要重新发明底层特征,而是站在上一层的输出上继续组合。

第二个好处是表达效率。有些函数用浅而宽的网络也能表达,但需要的神经元数量可能随输入维度指数增长;用深网络,同样的函数可以用少得多的参数表达。这不是说深一定比宽好,而是说在某些结构上,深度的「组合」比宽度的「枚举」更省参数。

第三个好处是层次化的归纳偏置。图像有局部性,文本有顺序,这些结构可以通过层与层的连接方式编码进网络,而不是让模型从零学起。卷积网络、循环网络、Transformer 的差别,很大程度上就是它们假设了什么样的数据结构。

归纳偏置是一把双刃剑。卷积假设「相邻像素相关」,在图像上非常有效,但把同一套结构用到表格数据上就不合适,因为表格的列没有空间相邻关系。选用什么层,本质上是把你的先验知识写进网络。先验对了,模型学得更快、更省数据;先验错了,再多的数据也补不回来。这也是为什么表格数据至今仍偏爱树模型,而不是硬套卷积网络。

但深度不是免费的。层数增加会带来三个问题:梯度在反传时逐层衰减或放大,前面的层学不动;参数变多,容易过拟合;训练时间变长,调参空间变大。这些问题不是靠「再加一层」能解决的,后面会专门讲反向传播和训练技巧。

宽一点还是深一点

宽度和深度是两条不同的扩展路径。宽度增加每层的神经元数量,深度增加层的数量。两者都能提高表达能力,但代价不同。

宽网络的每一层计算量大,但层数少,梯度传到输入端的路径短,训练相对容易。深网络的参数量可能更少,但梯度要穿过很多层,容易出现消失或爆炸。实际项目里,常见做法是先在一个中等深度、中等宽度的结构上跑通,再根据验证集表现调整,而不是一上来就堆到几十层。

还要看数据量。数据少时,深网络很容易过拟合,宽而浅的网络反而更稳;数据多时,深网络的优势才会显现。没有足够的数据支撑,深度带来的表达能力会变成记忆能力,把训练集背下来,验证集一塌糊涂。

另一个实际约束是延迟和显存。深网络的串行计算多,推理延迟高;宽网络的单层计算量大,显存占用高。线上服务要在两者之间找平衡,不能只看离线指标。

参数量还要和样本量一起看。一个有一百万参数的网络,配一千条训练样本,几乎必然过拟合;配一百万条样本,才算比较匹配。粗略的经验是参数量不要比样本量高太多,但这不是硬规则,正则化、数据增强和早停都能放宽这个限制。真正可靠的判断还是看验证集。

层数加了但效果不对,按这张表查

深网络的很多问题不会报错,只会让效果停在某个水平。下面按现象倒查:

现象真实原因第一步查什么
加到十层后效果不如两层梯度消失或退化,前面的层几乎没更新打印每层梯度范数,看是否随层数快速衰减
训练损失完全不降层间漏了激活函数,或激活选错逐层检查是否都有非线性,确认激活可导
输出全是零ReLU 神经元大面积死亡,偏置太负统计每层激活为零的比例,检查学习率和初始化
训练集很好、验证集很差参数太多,模型记住了训练样本对比参数量和样本量,加入正则或减层
损失出现 NaN梯度爆炸,权重被更新到极大值看梯度范数是否突然暴涨,降低学习率或加梯度裁剪
加深后训练变慢很多串行层数多,或 batch 太大导致显存不足测每层耗时,调整 batch 和层宽
换随机种子结果差异巨大初始化不好,深网络对初始值敏感换初始化方法,多次运行取平均观察方差

边界与代价

非线性不是万能的。它让网络能表达复杂边界,但也让损失曲面变成非凸,训练结果依赖初始值、学习率和数据顺序。同一个网络跑两次,结果可能不一样。这不是 bug,而是优化问题的性质。要报告结果时,应该多次运行并给出波动范围,而不是只挑最好的一次。

深度的收益有递减。从一层加到两层,表达能力提升明显;从二十层加到三十层,可能只提升一点点,却带来更多的训练问题和更高的延迟。判断要不要继续加深,要看验证指标是否还有明显收益,而不是看别人用了多少层。

激活函数的选择也有代价。ReLU 快,但可能死神经元;sigmoid 平滑,但容易梯度消失;GELU 效果好,但计算更贵。没有一种激活在所有网络、所有数据上都最好。先用默认值跑通,再根据具体症状换,是更稳的顺序。

最后,深度网络的解释成本很高。单层模型的权重可以直接看,深网络的中间表示很难对应到业务概念。如果场景要求可解释,深网络可能从根上就不合适,不是加一个解释工具就能解决的。

部署成本也随深度上升。层数多意味着模型文件大、加载慢、推理时的内存占用高。端侧设备、浏览器、低配服务器都有硬性资源限制,一个在机房 GPU 上跑得动的模型,搬到端侧可能直接不可用。选深度时,要把部署环境算进去,而不是训练完再想办法压缩。

当天能自验的五个练习

  1. 把 XOR 实验里第一层的两个神经元换成 Sigmoid,重新计算四个输出,观察是否还能正确分类。解释为什么平滑激活也能用。
  2. 把第一层的偏置从 0 改成 -0.5,重跑,观察哪些点被误判。理解偏置在折线位置上的作用。
  3. 把两个线性矩阵换成三乘三的随机矩阵,手算等效矩阵,再用程序验证。确认多层线性仍然是一层。
  4. 在两层网络中间再加一个 ReLU 层,保持其他不变,观察输出是否变化。解释为什么单纯加层不改变结果。
  5. 统计一个真实小网络每层的激活为零的比例,找出是否有神经元长期失活,并记录对应的偏置值。

小结

层由线性变换和激活函数组成。线性变换负责投影,激活负责弯折。没有激活,多层网络在数学上等价于一层;有了激活,每层才能独立地折叠空间。两个 ReLU 神经元加一个输出层就能解决 XOR,这不是因为参数多,而是因为结构对了。

但深网络为什么能训练起来,仍然没有回答:误差怎么从输出层传回第一层,每一层的梯度怎么算。下一篇讲反向传播,把链式法则落到一个两层网络上,并用手写梯度和数值校验确认它真的在工作。