一个翻译模型把「猫追老鼠」译成了「猫被老鼠追」。把每个词对其他词的注意力权重打印出来,三个词的权重几乎是平均的 0.33、0.33、0.33。模型并不是「没看见」,而是根本没学会该看谁。另一个团队把模型参数量放大之后,训练开始不稳定,注意力权重全是 0 或 1,中间值几乎没有。
这两个现象看起来像模型「注意力不够」,实际是两个完全不同的问题:一个是查询和键没有区分度,另一个是打分值太大、softmax 被推进了饱和区。要分清它们,得先把注意力拆成最朴素的几步算术。
这篇用三个词、手写的 Q/K/V 和本机能跑的标准库 Python,把一次 self-attention 从头算到尾:打分、缩放、softmax、加权求和、加因果掩码。每一步都有真实输出,你可以直接对照。
注意力就是一次带权重的平均
先给定义。注意力(attention)是一种按输入内容动态分配权重的聚合方式:对每个位置,先算出它和其他位置的相关程度,把相关程度归一化成一组总和为一的权重,再用这些权重把各个位置的内容加权加起来。
它解决的问题是固定权重太死板。卷积和全连接层的权重在训练完成后就固定了,同一个模式在任何输入上都用同样的方式组合。但语言里「它」指代谁,取决于上下文;同一个词在不同句子里的重点也不同。注意力让权重随输入变化,每个位置自己去决定该看哪里。
用最直白的话说:如果普通全连接层是「所有人按固定比例发言」,注意力就是「每个人先看一圈,觉得谁说得相关就多听谁的」。权重不是一个固定参数,而是根据当前输入算出来的。
这也带来一个代价:权重是算出来的,就要额外计算。序列长度为 n 时,每个位置要和 n 个位置打分,整张注意力矩阵是 n 乘 n。这个平方级的规模,后面会单独讲。
注意力和「硬选择」不同。硬选择是从候选里挑一个,权重非零即一,不可导;注意力是所有位置都拿一点,权重是连续值,可以对权重求导。正因为可导,它才能接进反向传播,和网络其他部分一起训练。这一点是它能取代很多手工规则的根本原因。
另一个常见说法是「注意力能建模长距离依赖」。准确地说,它让任意两个位置之间只隔一层,路径长度不随距离增长;但能不能学到有用的关联,还要看数据和训练。结构提供了通路,不代表通路一定被用上。
Q、K、V:查询、标签和内容
Q、K、V 是三个向量序列,名字来自检索系统的三个角色。Query 是「我想找什么」,Key 是「我这里有什么标签」,Value 是「我实际携带的内容」。注意力和在数据库里查资料的过程很像:拿查询和每个标签比对,选出匹配度高的,再把那些条目真正的内容取出来。
为什么不直接用同一个向量做匹配和取值?因为「像不像」和「值不值得传」是两件事。一个位置可能和查询很像,但它携带的信息未必有用;也可能标签不显眼,内容却很关键。把匹配用的特征和传递的内容分开,网络可以各自学习,表达更灵活。
self-attention 里的 self 指的是:Q、K、V 都来自同一个序列,只是经过三个不同的线性投影。每个位置用自己的查询去看同一条序列里的所有位置,包括它自己。这样一层就能让词和词直接交换信息,不需要像循环网络那样一步步传递。
计算顺序是:查询和每个键做点积得到分数,分数除以一个缩放因子,softmax 归一化成权重,最后用权重对值加权求和。四步里每一步都可能出问题,下面拆开看。
实际模型里,Q、K、V 都由输入乘一个可学习的矩阵得到,三个矩阵分别训练。输入维度记作 d_model,投影后的维度可以和它相同,也可以更小。维度决定每个头的表达容量,头数决定并行的组数,两者相乘通常等于原维度。
这也解释了一个现象:同样一层注意力,换任务后学到的关注模式完全不同。投影矩阵是训练出来的,不是写死的规则。所谓「模型学会了指代消解」,说的是这些矩阵在特定数据上收敛到了某种行为,而不是代码里有一条指代规则。
缩放:为什么分数要除以维度的平方根
点积的数值会随向量维度增长。假设每一维都是独立的、均值零方差一的随机数,两个 d 维向量的点积方差大致和 d 成正比。维度是 64 时,点积的标准差大约是 8;维度是 512 时,大约是 22。分数变大,softmax 的输出就会向最大的那个集中,越来越接近「全押一个」。
解决办法是除以 sqrt(d),把分数的方差拉回一左右。这样无论维度多大,softmax 的输入都在一个相对温和的范围里,梯度不会因为饱和而消失。
下面这段把三个词手写成 Q、K、V,跳过线性投影,直接算一次注意力。三个词是「猫」「追」「老鼠」,每个向量四维,值向量两维。先算缩放版,再算不缩放版。
import math
def dot(a, b):
return sum(x * y for x, y in zip(a, b))
def softmax(vals):
m = max(vals)
e = [math.exp(v - m) for v in vals]
s = sum(e)
return [v / s for v in e]
Q = [[1, 0, 1, 0],
[0, 1, 0, 1],
[1, 1, 0, 0]]
K = [[1, 0, 1, 0],
[0, 1, 0, 1],
[0, 0, 1, 1]]
V = [[1, 0],
[0, 1],
[1, 1]]
names = ["猫", "追", "老鼠"]
d = len(Q[0])
def attend(Q, K, V, names, scale=True, causal=False):
print("缩放" if scale else "不缩放", "因果掩码" if causal else "全可见")
for i in range(len(Q)):
scores = [dot(Q[i], K[j]) for j in range(len(K))]
if scale:
scores = [s / math.sqrt(d) for s in scores]
if causal:
scores = [s if j <= i else -1e9 for j, s in enumerate(scores)]
w = softmax(scores)
out = [sum(w[j] * V[j][k] for j in range(len(V))) for k in range(len(V[0]))]
print(" 查询", names[i], "权重", [round(x, 3) for x in w],
"输出", [round(x, 3) for x in out])
attend(Q, K, V, names, scale=True)
attend(Q, K, V, names, scale=False)
本机实际输出:
缩放 全可见
查询 猫 权重 [0.506, 0.186, 0.307] 输出 [0.814, 0.494]
查询 追 权重 [0.186, 0.506, 0.307] 输出 [0.494, 0.814]
查询 老鼠 权重 [0.384, 0.384, 0.233] 输出 [0.616, 0.616]
不缩放 全可见
查询 猫 权重 [0.665, 0.09, 0.245] 输出 [0.91, 0.335]
查询 追 权重 [0.09, 0.665, 0.245] 输出 [0.335, 0.91]
查询 老鼠 权重 [0.422, 0.422, 0.155] 输出 [0.578, 0.578]
对比两组权重。缩放之后,「猫」对三个位置的权重是 0.506、0.186、0.307,还保留了分布;不缩放时变成 0.665、0.090、0.245,明显更尖。这里维度只有 4,差异已经看得出来;维度到几百时,不缩放的分布会几乎退化成「只选一个」。
输出也能看出区别。缩放版「猫」的输出是 0.814、0.494,不缩放版是 0.910、0.335。差别来自权重集中程度,不是值向量本身变了。这也说明一个常见误解:注意力输出不是「选中某个词」,而是按权重混合多个词的内容。
点积注意力之所以常见,是因为它能写成矩阵乘法,硬件上跑得快。另一种做法是把查询和键拼起来过一个小网络再打分,表达更灵活,但没法用一次矩阵乘算完,实际很少用。选哪种不是数学上的对错,而是工程上的取舍。
softmax 饱和:权重变成 0 和 1
把查询向量整体放大十倍,模拟「分数很大」的情况,再跑一次不缩放的注意力。下面是同一段代码换一组 Q 的结果。
bigQ = [[10, 0, 10, 0], [0, 10, 0, 10], [10, 10, 0, 0]]
attend(bigQ, K, V, names, scale=False)
本机实际输出:
不缩放 全可见
查询 猫 权重 [1.0, 0.0, 0.0] 输出 [1.0, 0.0]
查询 追 权重 [0.0, 1.0, 0.0] 输出 [0.0, 1.0]
查询 老鼠 权重 [0.5, 0.5, 0.0] 输出 [0.5, 0.5]
权重直接变成 1.0 和 0.0,softmax 完全饱和。这时它对输入的微小变化几乎不响应:分数再大一点或小一点,输出都还是这个样子,反向传播的梯度接近零,这个位置的注意力就学不动了。开头提到的「权重全是 0 或 1」,原因就在这里。
饱和还有数值风险。softmax 要先算指数,分数很大时 exp 会溢出。常见实现会先减去最大值再取指数,保证最大项是 exp(0),不会上溢。这段代码里的 softmax 就是这么写的,所以即使分数很大也只得到 1.0 和 0.0,不会直接变 NaN。
解决办法有两个:一是缩放分数,二是控制查询和键的数值范围。实际模型里两者都会做,缩放是结构里固定的,数值范围靠初始化和归一化控制。只靠调学习率,很难救回一个已经饱和的注意力层。
还有一个相关概念叫温度。softmax 前把分数除以一个温度系数,温度高分布平缓,温度低分布尖锐。缩放用的 sqrt(d) 相当于固定温度,生成模型里有时会额外调温度来控制输出的随机性。两者作用在同一处,但目的不同。
因果掩码:不让模型看到未来
语言模型的任务是根据前面的词预测下一个词。训练时如果让第 i 个位置看到第 i+1 个及以后的词,模型直接抄答案,loss 会降得很好看,上线后却完全不会生成。因果掩码(causal mask)就是用来堵住这条路。
做法很简单:在 softmax 之前,把每个位置不该看到的位置分数设成一个极大的负数,比如负十亿。softmax 之后这些位置的权重就变成零,信息传不过来。掩码是一个上三角矩阵,位置 i 只能看到小于等于 i 的位置。
把掩码加到刚才的例子上,跑一次缩放版:
attend(Q, K, V, names, scale=True, causal=True)
本机实际输出:
缩放 因果掩码
查询 猫 权重 [1.0, 0.0, 0.0] 输出 [1.0, 0.0]
查询 追 权重 [0.269, 0.731, 0.0] 输出 [0.269, 0.731]
查询 老鼠 权重 [0.384, 0.384, 0.233] 输出 [0.616, 0.616]
「猫」在序列第一位,只能看到自己,权重必然是 1.0,这是掩码决定的,不是模型学出来的。「追」只能看到猫和追,两个位置的权重是 0.269 和 0.731。「老鼠」在最后,能看到全部三个位置,所以和没加掩码时完全一样。三行权重的和都是 1,说明归一化仍然成立。
掩码写反是常见错误。如果把「小于等于」写成「小于」,每个位置会看不到自己;如果方向整个反过来,模型就能看到未来,训练 loss 异常低但生成质量极差。检查办法很直接:打印注意力矩阵,上三角应当全为零。
还有一种 padding 掩码,用来处理变长批次里补齐的空位。它和因果掩码形状不同,但原理一样,都是把不该关注的位置分数压到极小。两种掩码叠加时要注意顺序,别把本该保留的位置也盖掉。
训练和推理的掩码还有一点区别。训练时整段序列一次算完,掩码是上三角;推理时逐词生成,每步只有当前及之前的词,常见做法是缓存已经算过的键和值,避免重复计算。缓存长度和位置对应不上,就会出现「训练正常、生成乱码」的问题。
注意力不工作时,按现象倒查
注意力层的问题往往不表现为报错,而是表现为「训练能跑但效果不对」。下面这张表按现象给方向。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 注意力权重几乎均匀 | 查询和键缺乏区分度,投影没学好 | 打印分数的范围和不同位置分数的差值 |
| 权重全是 0 或 1 | 分数过大,softmax 饱和 | 检查是否做了除以维度平方根的缩放 |
| 训练 loss 变成 NaN | softmax 输入含无穷,或整行都被掩码 | 检查掩码值,确认每行至少有一个位置可见 |
| 语言模型 loss 异常低但生成很差 | 缺少因果掩码,或掩码方向写反 | 打印注意力矩阵,看未来位置权重是否为零 |
| 训练后期梯度很小 | 注意力分布过度集中,梯度被压平 | 统计每行最大权重,接近一就要警惕 |
| 改多头之后效果下降 | 每个头的维度算错,总维度没有保持 | 确认每个头维度等于总维度除以头数 |
| 推理结果和训练不一致 | 没切评估模式,或缓存拼接位置错 | 先切评估模式,再核对缓存长度和位置 |
| 长序列显存直接爆 | 注意力矩阵规模是序列长度的平方 | 看序列长度和 batch,算一下矩阵元素个数 |
表里前四行都能靠打印中间值定位。注意力层的调试不需要复杂工具,把分数、权重、掩码三样东西输出出来,大部分问题一眼能看出来。真正难的是最后两行,它们涉及工程实现而不是数学。
排查顺序建议从形状开始:先确认分数矩阵是 n 乘 n,掩码形状一致,每行至少有一个可见位置;再看数值范围,最后看权重分布。形状错了后面都不用看,数值错了看权重也没有意义。
边界与代价
注意力不是「解释性工具」。权重高只说明这个位置在加权平均里占比大,不直接说明它对最终输出贡献大,因为后面的层还会继续变换。把注意力图当成模型在「看哪里」的证据,很容易过度解读。这一点在研究中已有讨论,具体结论这里不做断言。
计算代价是平方级。序列长度 n 时,分数矩阵有 n 乘 n 个元素,时间和显存都随 n 的平方增长。长度从一千加到四千,矩阵元素从一百万变成一千六百万。具体显存占用和精度、头数、batch 都有关,这里没有在本机实测。
多头注意力把总维度拆成几组并行计算,每组各自学一种关注方式,最后拼接。它增加了参数量,也增加了实现复杂度,但通常比单头效果好。头数不是越多越好,每个头的维度太小会限制表达,常见做法是保持总维度不变、只改变切分方式。
长序列的平方级开销催生了不少近似做法,比如只让每个位置看固定窗口,或者把远处的信息聚合成少量代表。它们各有适用场景,但都会牺牲一部分全局关联。选型时要看任务是否真的需要任意两个位置直接交互。
注意力还有一个隐含假设:所有位置都可以直接互相比较。这对文本合适,对图像和长序列就不一定,因为距离远近没有被编码进去。所以纯注意力模型需要额外的位置信息,这正是下一篇要讲的 Transformer 模块里位置编码的作用。
当天能自验的五个练习
- 把「猫」的查询向量改成
[2, 0, 2, 0],重跑缩放版,观察它的权重如何变化,确认放大查询等于提高温度。 - 把向量维度从 4 改成 8,保持数值不变,重跑不缩放版,比较权重集中程度是否加剧。
- 把因果掩码的
j <= i改成j < i,观察第一行权重,说明为什么它会变成 NaN 或全零。 - 在每行输出后打印权重之和,确认八行全部等于 1,理解 softmax 归一化的作用。
- 把值向量换成三维,确认输出维度跟着变成三,说明注意力的输出维度由值决定,不由查询决定。
小结
注意力是一次动态加权平均:查询和键打分,除以维度平方根控制尺度,softmax 归一化成权重,再用权重对值加权求和。Q、K、V 分开是为了让「匹配」和「传递」各学各的。分数太大会让 softmax 饱和,权重退化成 0 和 1;因果掩码把未来位置的分数压到极小,保证语言模型不能抄答案。
单个注意力层只是零件。真正的模型要把注意力、前馈网络、残差连接和位置编码拼成一个块,再堆很多层。下一篇讲这个块怎么拼,以及每一部分去掉之后会发生什么。
判断自己是否真的理解了,有个简单测试:给定一组 Q、K、V,能手算出一行的权重和输出。手算一遍,比读十遍公式有用。