有人照着论文实现了一个 Transformer,训练却怎么都不收敛。逐层打印梯度,发现越靠前的层梯度越小,几层之后几乎为零。也有人为了省事,把位置编码去掉了,模型在分类任务上还勉强,一换到需要语序的任务就全面崩盘。还有人以为 Transformer 就是「堆注意力」,把每个块里的前馈网络删了,参数量掉了一半,效果也跟着掉。
这三种问题分别对应块里的三个零件:残差连接、位置编码、前馈网络。它们不像注意力那样常被讨论,但少了任何一个,这个块都不成立。
这篇按一个块的数据流走一遍:输入怎么进注意力,注意力之后为什么还要一个前馈网络,两条残差加在哪里,归一化放在前面还是后面,位置信息从哪来。每个部分都配一个本机能跑的小实验或真实数值。
一个块里到底有几条线
先把结构摆出来。一个标准的 Transformer 块有两条主分支:一条是注意力子层,一条是前馈网络子层。每条分支外面都套一个残差连接,也就是把分支的输入原样加回输出。归一化通常放在分支之前或之后,位置编码只在最底层输入处加一次。
数据流可以概括成:先归一化,进注意力,加回原输入;再归一化,进前馈网络,再加回原输入。两次「加回」就是两条残差。一个块做完,输出的形状和输入完全一致,所以可以直接堆叠几十层。
形状一致这一点很重要。它意味着块与块之间不需要额外的适配层,堆叠只是重复同一个结构。也意味着残差相加时两个张量的维度必须相同,这也是为什么模型有一个固定的隐藏维度,注意力输出和值投影都要投影回这个维度。
块与块之间不再重复注入位置编码,位置信息只在输入处加一次,之后靠残差流一路带下去。这也是为什么位置编码的维度必须等于隐藏维度,否则根本加不进去。
下面按零件拆开讲,顺序是:注意力(上一篇已经详细讲过,这里只说它在块里的角色)、前馈网络、残差、位置编码、归一化位置。
注意力子层:块里唯一让位置互相交流的地方
注意力子层就是上一篇讲的多头 self-attention。它接收一组位置向量,输出同样数量、同样维度的向量,每个输出都是其他位置值的加权和。它是块里唯一一个跨位置交互的部件,其余部分都是逐位置独立处理。
多头的作用是把隐藏维度切成几组,每组独立算一次注意力,最后拼接再投影。不同头可以关注不同类型的关系,比如一个头看相邻词,另一个头看句法上的主语。这不是设计时指定的,而是训练中自己分化出来的。
注意力子层本身是线性的加权平均。如果没有后面的非线性,堆再多层也只是不同权重的平均,表达能力有限。这就是为什么每个块后面必须跟一个前馈网络:它提供逐位置的非线性变换,让模型能在每个位置上做更复杂的计算。
块里的注意力还有一个细节:它需要掩码。语言模型用因果掩码,编码器用补位掩码。掩码通常在 softmax 之前加在分数上。如果块里有多头,每个头都要用同一份掩码,形状必须对得上。
前馈网络:块里参数最多的地方
前馈网络(feed-forward network,FFN)通常由两层线性变换加一个激活函数组成:先把维度从 d_model 放大到 d_ff,过激活,再压回 d_model。它对每个位置独立作用,同一个权重在所有位置上共享,位置之间不交换信息。
它看起来平淡,但参数量占了块的大头。下面按常见的 d_model 等于 512、d_ff 等于 2048 算一遍,注意力部分按四个投影矩阵计,前馈按两个矩阵计。
d_model = 512
d_ff = 2048
attn = 4 * d_model * d_model + 4 * d_model
ffn = 2 * d_model * d_ff + d_model + d_ff
print("d_model", d_model, "d_ff", d_ff)
print("attention 参数约", attn, "FFN 参数约", ffn, "FFN 占比", round(ffn / (attn + ffn), 3))
print("块内总参数约", attn + ffn)
本机实际输出:
d_model 512 d_ff 2048
attention 参数约 1050624 FFN 参数约 2099712 FFN 占比 0.667
块内总参数约 3150336
前馈网络占了约三分之二的参数。这解释了一个常见误解:Transformer 的容量主要不在注意力,而在这些逐位置的全连接层。删掉 FFN,参数量直接掉一半以上,模型能记住的模式也跟着少了一大截。
为什么要把维度放大四倍再压回去?一种直观理解是:注意力负责把相关信息聚到当前位置,FFN 负责在这个位置上做一次更复杂的加工,中间维度越大,能表达的非线性组合越多。四倍是一个经验值,不同模型会调整,但没有固定公式。
FFN 还有一个特点:它的计算量和序列长度的平方无关,只和位置数、维度有关。序列很长时,注意力的平方开销占主导;序列很短时,FFN 的矩阵乘反而更花时间。分析性能时要分开看这两个部分。
不同模型对 FFN 的改动也不少,比如用门控结构把两个分支相乘,或者换成卷积式的局部混合。它们的共同点仍然是逐位置、不跨位置交互,只是把两层线性换成更复杂的组合。
残差:让几十层能连起来训
残差连接(residual connection)就是 y = f(x) + x。分支只负责学习「要改动多少」,不需要从头重建整个表示。它解决了深层网络的两个问题:前向信号逐层衰减,反向梯度逐层消失。
看一组实测。构造六层、每层六十四维的网络,权重尺度取 0.1,每层过 ReLU,分别统计有残差和无残差时每层激活的标准差。
def scale_with_residual(use_residual, layers=6, width=64, wscale=0.1):
x = [random.gauss(0, 1) for _ in range(width)]
res = []
for _ in range(layers):
W = [[random.gauss(0, wscale) for _ in range(width)] for _ in range(width)]
y = [sum(W[i][j] * x[j] for j in range(width)) for i in range(width)]
if use_residual:
y = [y[i] + x[i] for i in range(width)]
x = [max(0.0, v) for v in y]
m = sum(x) / width
s = math.sqrt(sum((v - m) ** 2 for v in x) / width)
res.append(round(s, 4))
return res
print("无残差 各层激活标准差", scale_with_residual(False))
print("有残差 各层激活标准差", scale_with_residual(True))
本机实际输出:
无残差 各层激活标准差 [0.34, 0.2197, 0.1197, 0.0818, 0.0432, 0.0227]
有残差 各层激活标准差 [0.6075, 0.6611, 0.8646, 1.0726, 1.1257, 1.2466]
没有残差时,标准差从 0.34 一路降到 0.0227,六层之后只剩原来的十五分之一。再深一些,信号就会接近零,梯度也传不回去。有残差时,标准差稳定在一左右,甚至略有增长,因为每层都保留了原始输入。这个对比说明残差不是「锦上添花」,而是深层可训练的前提。
残差还有梯度上的好处。反向传播时,加法把梯度原样分给两个分支,其中一路直接连到输入,不需要经过任何矩阵乘。这条直通路径让梯度不会因为层数增加而指数衰减,这也是为什么几百层的网络能训得动。
代价是维度必须对齐。如果分支输出的维度和输入不同,就得加一个投影把维度调回来。另一个副作用是残差流里的数值会随层数累积,所以需要在分支入口做归一化,把尺度控制住。
位置编码:注意力天生不知道顺序
self-attention 有一个容易被忽略的性质:它对输入顺序是等变的。把序列里的词打乱,输出只是跟着打乱,每个位置拿到的内容集合不变。也就是说,单靠注意力,模型分不清「猫追老鼠」和「老鼠追猫」。
位置编码(positional encoding)就是补上这个信息。最常见的正弦编码给每个位置生成一个固定向量,不同维度用不同频率的正弦和余弦,再和词向量相加。位置越远,编码的差异越有规律。
下面这段算 d 等于 8 时前四个位置的编码,以及位置 0 和其他位置的编码点积。
def pos_encoding(pos, d=8):
out = []
for i in range(d // 2):
denom = 10000 ** (2 * i / d)
out.append(round(math.sin(pos / denom), 3))
out.append(round(math.cos(pos / denom), 3))
return out
for p in range(4):
print(" 位置", p, pos_encoding(p))
e0 = pos_encoding(0)
for p in range(1, 5):
ep = pos_encoding(p)
print(" 0 与", p, round(sum(a * b for a, b in zip(e0, ep)), 3))
本机实际输出:
位置编码 d=8
位置 0 [0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0]
位置 1 [0.841, 0.54, 0.1, 0.995, 0.01, 1.0, 0.001, 1.0]
位置 2 [0.909, -0.416, 0.199, 0.98, 0.02, 1.0, 0.002, 1.0]
位置 3 [0.141, -0.99, 0.296, 0.955, 0.03, 1.0, 0.003, 1.0]
位置 0 与其他位置的编码点积
0 与 1 3.535
0 与 2 2.564
0 与 3 1.965
0 与 4 2.266
前几维变化快,后几维几乎不变,这是多尺度设计的结果:低维编码细粒度的相邻关系,高维编码粗粒度的远距离关系。点积的数字也说明了这一点,它随距离总体下降但不严格单调,位置 4 的相似度反而比位置 3 高一点,因为不同频率的分量在交替起作用。
位置编码有几种常见做法。正弦编码是固定的,不参与训练,长度可以外推;可学习的位置编码是一个查表,表达更灵活,但超过训练长度就没有对应项;相对位置编码和旋转位置编码把「距离」直接编码进注意力打分里,长序列外推更好。选哪种取决于序列长度是否固定、是否需要处理比训练更长的输入。
要注意位置编码和词向量的相加方式。相加要求两者维度相同,且量级相近,否则位置信息会被词向量淹没。实际模型通常会把词向量缩放一下再加,或者用归一化控制量级。
归一化放前面还是后面
原始 Transformer 把归一化放在残差相加之后,叫后置归一化。后来很多模型改成放在分支之前,叫前置归一化。两者在数学上差别不大,在训练稳定性上差别很明显。
前置归一化的残差路径上没有归一化,梯度可以从输出一路直通到输入,深层训练更稳,通常不需要复杂的学习率预热。后置归一化让每条路径都经过归一化,表达更受约束,但训练初期容易不稳定,需要 warmup 配合。
这不是绝对的好坏。前置归一化训练稳,但最终效果有时略低于调好的后置版本;后置归一化对超参更敏感,调好了表现很强。工程上选择哪种,往往取决于团队更愿意花时间调参,还是更愿意接受一个开箱即稳的结构。
还有一个细节:归一化的位置决定了残差流里数值的范围。前置归一化把归一化放在分支入口,残差流本身不被归一化,数值会随层数累积;后置归一化把归一化放在相加之后,残差流每层都被拉回标准范围。两种设计都需要注意数值范围,只是控制点不同。
判断归一化位置是否合适,最直接的办法是看训练前几百步的 loss 曲线。前置归一化通常平滑下降,后置归一化可能先抖一段再降。如果一上来就抖到 NaN,先别急着调学习率,换成前置归一化再试。
块不工作时,按现象倒查
下面这张表按现象给方向,覆盖结构、训练和推理三类问题。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 层数一多就训不动 | 残差缺失或被意外断开,梯度传不回去 | 逐层打印梯度范数,确认加法分支真的接上 |
| 换到语序相关的任务就崩 | 没有位置编码,模型把输入当成无序集合 | 做一次打乱词序的对照实验,看输出是否只跟着置换 |
| 模型能跑但表达很弱 | 前馈网络被删掉,或中间维度设得太小 | 检查 d_ff 和激活函数,算一下 FFN 参数量占比 |
| 训练初期 loss 直接爆炸 | 后置归一化配大学习率,或没有 warmup | 换成前置归一化,或把前若干步学习率调小 |
| 序列比训练时长就报错 | 用了固定长度的可学习位置编码 | 检查位置表长度,考虑正弦或相对位置编码 |
| 残差相加时报维度错误 | 分支输出维度没有投影回隐藏维度 | 打印相加前两个张量的形状 |
| 推理比训练慢很多 | 每步都重算整段序列,没有缓存键值 | 检查是否启用了键值缓存,缓存长度是否对得上 |
| 显存随层数线性上涨 | 反向需要保存每层激活 | 统计激活占用,考虑梯度检查点或减小 batch |
前四行都和结构有关,后四行偏向工程实现。调试顺序建议从形状开始:先确认每个分支输入输出的形状一致,再确认残差接上,最后才看数值和性能。形状不对时,后面所有观察都不可信。
边界与代价
Transformer 不是唯一的块结构,也不是所有任务的最优解。卷积网络在局部模式上更省参数,循环网络在流式输入上有天然优势,近年还有一些用状态空间做长序列的替代结构。选型要看任务的长度、是否需要全局交互、以及部署环境的算力。
计算代价主要来自两处:注意力的平方级开销和 FFN 的矩阵乘。序列很长时前者主导,模型很宽时后者主导。具体耗时和硬件、精度、批大小都有关,这里没有在本机实测,实际要profile自己的模型。
显存代价来自激活保存。反向传播需要每层的中间结果,层数越多、序列越长,占用越大。梯度检查点用时间换显存,把部分激活重算,能显著降低占用,但训练会变慢。这是工程上的取舍,不是结构本身的缺陷。
位置编码的外推能力也是边界。正弦编码理论上可以处理任意长度,但模型在训练长度之外的表现通常还是会下降,因为注意力分布没有见过那么远的组合。相对位置编码和旋转位置编码缓解了这个问题,但没有完全解决。
最后,块的堆叠存在收益递减。层数增加带来的提升会逐渐变小,而训练和推理成本线性上升。判断该堆多深,要看验证指标是否还在明显改善,而不是盲目加层。
当天能自验的五个练习
- 把上一篇的注意力例子打乱输入顺序,观察输出只是跟着置换,确认没有位置编码时模型确实分不清语序。
- 把位置编码的维度从 8 改成 16,重算前四个位置,观察高频维度和低频维度的分布差异。
- 把残差实验的层数从 6 加到 12,比较有无残差时最后一层的标准差,验证衰减是否加速。
- 把 d_ff 从 2048 改成 1024,重新算 FFN 参数占比,说明中间维度对总参数量的影响。
- 把 FFN 的激活函数去掉,让两层线性直接相连,验证它等价于一层线性变换,理解非线性为什么必要。
小结
一个 Transformer 块由注意力子层、前馈子层、两条残差、归一化和输入处的位置编码组成。注意力负责跨位置交换信息,前馈负责逐位置的非线性加工且占了大部分参数,残差让深层信号和梯度都能传下去,位置编码补上注意力缺失的顺序信息,归一化的位置影响训练稳定性。
结构讲完,剩下的问题是训练不收敛时怎么查。下一篇把 loss 曲线、梯度、数据和超参四条线摆在一起,给一套可以按顺序执行的排查流程。