刚学深度学习时,最容易产生一种错觉:神经网络是一个很复杂的东西,里面有卷积、注意力、残差这些名词,每个都像另一个学科。但把一个大网络拆到最后,最小的单元只是一个神经元,而一个神经元做的事情,和线性回归几乎一模一样:把输入乘上权重、加起来、再加一个偏置。

真正的差别只在最后一步:线性回归直接把结果输出,神经元会再过一个非线性函数。这个函数叫激活函数。它看起来只是一个小改动,却决定了网络能不能表达弯曲的边界、能不能拟合复杂规律。没有它,堆一百层也还是线性模型。

这篇从一个神经元开始:先看它怎么用一组权重实现 AND 和 OR,再看它为什么做不了 XOR,最后用暴力搜索确认单层网络在 XOR 上的上限。读完你会明白,「深度」不是目的,非线性才是;也明白为什么下一篇要讲层、激活函数和深度。

一条直线能做什么

线性回归的形式是 y = w1 * x1 + w2 * x2 + b。两个输入时,它在平面上对应一条直线;三个输入时对应一个平面;更多输入时对应一个超平面。训练就是调 w 和 b,让这条线尽量贴近样本。

如果做分类,就在直线一侧判为正类,另一侧判为负类。这种模型能处理很多问题:邮件是不是垃圾、用户会不会点击、交易是不是异常。只要两类数据大致能被一条线分开,它就能工作,而且训练快、解释清楚。

但它有一个硬限制:边界必须是一条直线。如果真实规律是「两个特征都高时才为正」,或者「两个特征一高一低时才为正」,直线就分不开。前一种还能靠调整权重勉强处理,后一种不行。这不是训练不够久,而是模型表达能力的天花板。

举一个更具体的例子。判断一条评论是不是广告,特征一是外链数量,特征二是联系方式数量。广告通常两个都多,正常评论两个都少,这在平面上是左下和右上两个区域。一条斜线可以大致把它们分开,线性模型够用。但如果规律变成「外链多且没有联系方式,或者联系方式多且没有外链」,正类落在左上和右下,任何一条直线都切不开。这时需要的不是更多数据,而是一个能弯的边界。

神经元保留了线性回归的全部计算,只多加了一个非线性步骤。理解这个步骤,是理解整个深度学习的第一块砖。

神经元:加权和加一个开关

一个神经元接收若干输入,每个输入有一个权重,另有一个偏置。它先把加权和算出来,这个值叫 z;再把 z 送进激活函数,得到输出。写成一句话:输出等于激活函数作用在加权和上。

先用最简单的阶跃激活:z 大于等于零输出 1,否则输出 0。这个神经元可以表示逻辑门。下面用两组权重分别实现 AND 和 OR:

def step(z):
    return 1 if z >= 0 else 0

inputs = [(0, 0), (0, 1), (1, 0), (1, 1)]

print("AND (w=1,1 b=-1.5):", [step(1 * x1 + 1 * x2 - 1.5) for x1, x2 in inputs])
print("OR  (w=1,1 b=-0.5):", [step(1 * x1 + 1 * x2 - 0.5) for x1, x2 in inputs])
print("AND 的另一种写法 (w=0.5,0.5 b=-0.75):",
      [step(0.5 * x1 + 0.5 * x2 - 0.75) for x1, x2 in inputs])

本机实际输出:

AND (w=1,1 b=-1.5): [0, 0, 0, 1]
OR  (w=1,1 b=-0.5): [0, 1, 1, 1]
AND 的另一种写法 (w=0.5,0.5 b=-0.75): [0, 0, 0, 1]

AND 要求两个输入都为 1,所以偏置设得比较负,只有 1 + 1 - 1.5 才能越过零。OR 只要有一个 1 就够,偏置设得浅一些。权重和偏置不是唯一的,同一个逻辑门可以有无数种写法,只要分界线位置对就行。

这就是神经元的全部计算。没有神秘的地方,它就是一个带参数的线性函数,加一个开关。深度学习里所谓「学习」,就是让这些权重和偏置自己调整到合适的值,而不是由人手工设定。

权重和偏置的作用可以分开理解。权重决定每个输入的重要程度和方向:权重为正,输入越大越容易激活;权重为负,输入越大越抑制激活;权重接近零,这个输入基本被忽略。偏置决定「门槛」:偏置越负,越难激活;偏置越正,越容易激活。手工设权重时,我们其实是在用这两个旋钮摆出一条分界线。

真实网络里没人手工设这些数。它们从随机值开始,通过反复计算误差和梯度慢慢调整。手工设 AND 门只是为了看清结构,不是为了替代训练。理解「权重控制方向、偏置控制门槛」,在排查模型时很有用:如果某个神经元对所有输入都输出零,先看它的偏置是不是太负。

激活函数:为什么非加不可

如果去掉激活函数,神经元就退化成线性回归。更糟的是,多个这样的神经元串联起来,仍然是线性的。两个线性函数复合,结果还是一个线性函数;一百个线性函数复合,结果依然是线性的。堆层数不会增加表达能力,只会增加计算量。

激活函数打破了这种线性叠加。阶跃函数是最直观的例子,它把连续的 z 压成 0 或 1,边界因此变成折线。但阶跃函数在零点不可导,梯度处处为零,没法用梯度下降训练。所以实际用的是平滑的替代品。

Sigmoid

把任意实数压到 0 和 1 之间,形状像一条 S 曲线。输出可以当概率解释,适合二分类的输出层。缺点是输入很大或很小时梯度接近零,深层网络里容易造成梯度消失。

Tanh

把输出压到负一到一之间,零中心,比 sigmoid 更适合隐藏层。它仍然有饱和区,输入绝对值很大时梯度也会消失,但比 sigmoid 稍好一些。

ReLU

小于零输出零,大于零原样输出。计算极快,正区间梯度恒为一,缓解了梯度消失,是目前隐藏层的默认选择。缺点是在负区间梯度为零,神经元可能「死掉」。

Leaky ReLU 与 GELU

Leaky ReLU 在负区间留一个很小的斜率,避免神经元完全死掉。GELU 是一条平滑的 ReLU 变体,在 Transformer 里很常见。它们都是对 ReLU 缺点的修补。

选择激活函数要看位置。隐藏层通常用 ReLU 或它的变体,因为训练更稳、计算更快;二分类输出层用 sigmoid,多分类输出层用 softmax;回归输出层一般不加激活,直接输出实数。用错位置不会报错,但会让训练变慢或者输出范围不对。

softmax 值得单独说一句。它把一组分数变成一组概率,所有输出相加等于一。多分类任务里,模型给每个类别一个分数,softmax 把这些分数压成「属于每个类别的概率」。它和 sigmoid 的关系是:二分类时 softmax 退化成一个 sigmoid。分类任务的输出层用 softmax,配合交叉熵损失,梯度形式最干净。

还有一种思路是让网络自己学激活函数的形状,比如 Parametric ReLU 给负区间一个可学习的斜率。这类改动通常带来一点精度提升,但也增加了参数量和调参负担。对大多数项目来说,先用标准 ReLU 把流程跑通,比一开始就追求激活函数的花样更重要。

单层网络的极限:XOR

XOR 是这样一张真值表:两个输入相同输出 0,不同输出 1。也就是 (0,0) 和 (1,1) 是负类,(0,1) 和 (1,0) 是正类。四个点分布在正方形的四个角,同类的点在一条对角线上。

任何一条直线都不可能把这两条对角线分开。下面用暴力搜索,在权重和偏置的网格上找一个准确率最高的线性分界,看单层网络的上限是多少:

def step(z):
    return 1 if z >= 0 else 0

inputs = [(0, 0), (0, 1), (1, 0), (1, 1)]
labels = [0, 1, 1, 0]

best = (0, 0, 0, 0)
for w1 in [i / 10 for i in range(-30, 31)]:
    for w2 in [i / 10 for i in range(-30, 31)]:
        for b in [i / 10 for i in range(-30, 31)]:
            pred = [step(w1 * x1 + w2 * x2 + b) for x1, x2 in inputs]
            acc = sum(p == y for p, y in zip(pred, labels)) / 4
            if acc > best[3]:
                best = (w1, w2, b, acc)

print("最佳线性分界 w1,w2,b,准确率:", best)
print("最佳分界预测:", [step(best[0] * x1 + best[1] * x2 + best[2])
                       for x1, x2 in inputs])

本机实际输出:

最佳线性分界 w1,w2,b,准确率: (-3.0, -3.0, 3.0, 0.75)
最佳分界预测: [1, 1, 1, 0]

最好只能对三个点,准确率 0.75。这不是搜索没找到更好的解,而是数学上不存在。四个点的任意线性划分,最多只能把三个点分对。无论怎么训练权重,单层网络在 XOR 上的上限就是 75%。

这个结论在历史上直接推动了深度学习的发展。早期的感知机就是一个单层神经元,它在当时被大肆宣传,随后被指出连 XOR 都做不了,研究热度迅速冷却。后来的多层感知机加上了隐藏层和非线性激活,才重新获得表达能力。今天回看,这段历史提醒我们:一个模型的上限由结构决定,训练技巧只能逼近这个上限,不能突破它。

这个结论很重要:它说明「加层」不是可选项,而是解决某些问题的必要条件。但要记住,单纯堆线性层没有用,必须是「线性层加非线性激活」交替堆叠,才能让网络表达弯曲的边界。下一篇会具体讲这个组合怎么做。

单层网络不是「弱」,它只是「线性」。在线性可分的问题上,它和复杂模型没有本质差距。判断要不要加深,先看数据是否线性可分,而不是先看别人用了多少层。

从神经元到一层

一层网络是把多个神经元并排放。每个神经元有自己的权重和偏置,接收同一组输入,各自算自己的加权和与激活,输出排成一个向量。这一层的输出,就是下一层的输入。

并排的神经元带来两个变化。第一,输出从一维变成多维,可以同时表示多种模式。第二,同一层里的不同神经元可以关注不同的特征组合,比如一个负责「两个输入都高」,另一个负责「两个输入都低」。这些局部模式再被下一层组合起来,就能表达更复杂的形状。

用矩阵写,一层网络就是「输入向量乘权重矩阵,加偏置向量,再逐元素过激活函数」。矩阵乘法把每个神经元的加权和一次性算完,这是 GPU 擅长的事情,也是深度学习能扩展到大规模参数的原因之一。

参数量可以这样估:输入维度是 n,这一层有 m 个神经元,那么权重矩阵有 n 乘 m 个数,偏置有 m 个数。输入一百维、层里一千个神经元,光这一层就有十万多个参数。参数越多,模型越灵活,也越容易过拟合,越需要更多数据和正则化。看模型大小时,先算这一层的参数量,比看代码行数直观得多。

但一层仍然只能画一条边界。它的输出维度变多了,但每个维度仍是一个线性组合加激活。要解决 XOR,至少需要两层:第一层用两个神经元分别识别两种局部模式,第二层把它们的输出组合成最终判断。这就是「深度」的来源。

输出不对劲,按这张表查

单层网络或刚搭好的小网络出问题,通常表现为「怎么训都不准」或「输出范围不对」。下面按现象倒查:

现象真实原因第一步查什么
训练准确率卡在 75% 上不去数据非线性可分,单层表达不了画特征散点图,确认类别是否被一条线分开
输出全是 0 或全是 1偏置太大或太小,激活函数进入饱和区打印加权和的取值范围,检查偏置初始值
损失一直是 NaN学习率过大,或对零取对数缩小学习率,检查交叉熵实现里是否有 log(0)
二分类输出不在 0 到 1 之间输出层用了 ReLU 而不是 sigmoid确认输出层激活函数和损失函数是否匹配
训练损失不降激活函数选错,梯度处处为零换掉阶跃函数,确认激活函数可导
加了层反而更差层间没有非线性,等价于一层线性模型检查每层后面是否都接了激活函数
预测结果和手工计算不一致权重顺序或输入顺序对不上用一组固定输入手算一遍,再对比程序输出

边界与代价

单层网络的边界是「只能表达线性关系」。这个限制在低维、线性可分的问题上不是问题,甚至是一种优势:模型简单、训练快、不容易过拟合。不要因为「深度学习」听起来更强,就把一个线性问题硬套成多层网络。

激活函数也不是免费的。sigmoid 和 tanh 在饱和区梯度接近零,层数一多,梯度反传时会一层层衰减,前面的层几乎学不动。ReLU 缓解了这个问题,但负区间梯度为零,学习率太大时神经元可能永久失活。每种激活都有它的代价,选型时要看网络深度和任务类型。

单层网络的可解释性比多层好得多。权重可以直接看,哪个特征重要、方向是正还是负,一目了然。多层网络把这些权重组合成难以解释的中间表示,精度可能更高,但排查和解释的成本也更高。如果业务只需要一个可解释的基线,单层往往够用。

最后,神经元模型本身是对生物神经元的极度简化。它没有时序、没有脉冲、没有复杂的树突计算。把它当成一个数学函数,而不是大脑的复制品,能避免很多不必要的玄学讨论。

还有一个工程上的边界:单层网络的训练目标通常是一个凸问题,梯度下降不容易卡住;多层网络的目标是非凸的,初始值、学习率、数据顺序都会影响结果。这也是为什么同样一个两层网络,换一个随机种子可能得到不同的效果。单层模型的稳定性,是它在工业界长期占有一席之地的原因之一。

当天能自验的五个练习

  1. 用一组权重实现 NAND 门,写出权重和偏置,并用程序验证四个输入的结果。
  2. 把 AND 的偏置从 -1.5 改成 -0.5,观察输出变成什么逻辑门。解释偏置在分界线上的作用。
  3. 把 XOR 暴力搜索的步长从 0.1 改成 0.01,观察最佳准确率是否仍然是 0.75。说明这是表达能力限制,不是搜索精度问题。
  4. 给单层网络加上 sigmoid 激活,重新在 XOR 上搜索,观察准确率上限是否变化。解释为什么平滑激活也救不了线性边界。
  5. 手算一个两层网络的输出:第一层两个 ReLU 神经元,第二层一个神经元,看它能否正确分类 XOR 的四个点。

小结

一个神经元就是加权和加激活函数。加权和负责画线性边界,激活函数负责打破线性。没有激活,多层网络会退化成一层线性模型;有了激活,网络才能表达弯曲的边界。单层网络在 XOR 上的上限是 75%,这不是训练问题,是表达能力问题。

下一篇讲层、激活函数与深度:为什么非线性必须夹在层之间,深度带来什么,以及 ReLU 为什么成了隐藏层的默认选择。你会看到,一个两层小网络如何用两个折线拼出 XOR 的边界。