为什么要多个注意力头？

一次自注意力只给每个 token 产出一组权重——只回答一次「什么与我相关」。

这是个实实在在的限制。看这句：

them 这个词同时需要好几层关系：它指代哪个名词（keys，不是 cabinet）、支配它的动词是哪个（grabbed）、语法上的数一致，还有物理场景。一个加权混合结果要把这些全部压进一个分布里。对 keys 关注得重，其他一切就被稀释了。

多个头，并行跑

解法是让注意力同时跑很多遍，每一遍用各自独立的、可学习的投影。

每个 头（head）有自己的一套 query、key、value 矩阵。因此各自算出自己的分数、自己的权重、自己的混合结果。一个有 32 个头的模型，每一层做 32 次独立的注意力运算。

这些输出被拼接起来，再穿过一层投影，重新混合成每个 token 一个向量。

开销基本持平，因为每个头在更小的子空间里工作。如果模型维度是 4096、头数是 32，每个头就在 128 维里运算。总工作量与一次全宽度的注意力相当，只是拆成了 32 个各有专长的视角，而不是一个被平均掉的视角。

这就是所做的取舍：同样的算力，买到的是许多窄视角，而不是一个宽视角。

头都会专精于什么

角色不是谁指派的。专精是在训练中自己涌现的，因为分化的头能降低预测误差。研究者检查训练好的模型时，反复出现几种可辨认的模式：

• 位置头（positional head）关注紧邻的前一个 token，或者往回固定偏移的位置。
• 句法头（syntactic head）把动词连到主语、形容词连到名词、介词连到宾语。
• 指代头（coreference head）把代词连到它所指的对象。
• 分隔符头（delimiter head）配对括号、引号和其他成对结构。
• 稀有 token 头（rare-token head）关注不常见的 token，而它们往往是眼前信息量最大的。
• 归纳头（induction head）找出当前模式在更早处的出现，并预测上次后面跟的是什么——这套机制与上下文学习紧密相关，也因此与 few-shot prompting 为什么有效紧密相关。

两条诚实的提醒。很多头没有干净的解释，看起来在算某种分布式的量。另外，头经常是冗余的——从训练好的模型里剪掉相当一部分，质量只掉一点，这说明训练产出的比严格需要的多。

不同层的头

专精在深度方向上不是均匀的。

浅层偏局部：相邻 token、词义消歧、基础句法。中间层做关系的事——实体跟踪、更长的依赖、指代。深层专注于拼装出下一 token 预测当下需要的东西。

大致是：浅层确定每个词是什么，中间层确定词之间怎么关联，深层确定接下来是什么。

显存上的后果

每个头都维护自己的 key 和 value，生成时它们全都要缓存。于是 KV cache 的规模同时随头数、层数和序列长度增长——这使它成为长上下文下最大的显存消耗方。

这种压力催生了架构上的应对。多查询注意力（multi-query attention）让所有头共用一套 key 和 value，但保留各自的 query，大幅压缩缓存体积。分组查询注意力（grouped-query attention）是中间路线——头按小组共享 key 和 value。最近的大模型大多用其中一种，而不再给每个头配独立的 key 和 value，用一点表达力换取大幅的显存节省。

要点回顾

• 一次注意力只产出一个混合结果；多个头让一个 token 能同时跟踪好几层关系。
• 每个头在更小的子空间里工作，所以多个头的开销与一次宽计算差不多。
• 专精是涌现出来的，不是指派的：位置头、句法头、指代头、分隔符头和归纳头在各模型里反复出现。
• 浅层管局部结构，中间层管关系，深层管下一 token 的拼装。
• 头数会成倍放大 KV cache 的体积，这就是分组查询注意力和多查询注意力存在的原因。

下一篇： 模型怎么知道词序？