长上下文是怎么成为可能的

早期的 transformer 只能处理几千个 token。现在的模型能吃下几十万，有些超过一百万。

注意力成本依然是平方级的。这一点没有被废掉。即便如此，四项彼此独立的进展让长上下文变得可行，它们攻的是不同的约束。

1 · 显存高效且精确的注意力

最重要，也最不光鲜。

FlashAttention 算出的注意力在数学上完全相同，但从不在慢速显存里把完整的 n×n 分数矩阵真正铺开。它把注意力切成能塞进片上高速缓存的瓦片来处理，先算出部分的 softmax 结果，再正确地合并起来。

计算量依然是平方级的。但显存搬运——现代加速器上真正的瓶颈——大幅下降，显存占用随序列长度变成线性而不是平方。

这不是近似。输出是精确的。从几千到几十万 token 的这次跃升，很大一部分来自这一类工作，而不是来自任何架构改动，所以它排第一。

2 · 可外推的位置编码

一个只在 4000 token 上训练过的模型，不知道第 100000 个位置意味着什么——除非它的位置编码方案能外推。

RoPE 编码的是相对位置而不是绝对位置，这让它可拉伸：缩放旋转频率，就能让在一个长度上训练过的模型在更长的长度上工作，只需少量额外调优。很多模型就是这样在不必从头重训的前提下放出大上下文窗口的。

学习式的绝对位置编码根本做不到这一点——第 4001 个位置没有对应的参数。这个局限就是它们被弃用的原因。

3 · 削减 KV cache

在长上下文下，KV cache 成为硬性的显存约束——常常超过模型自身的权重。

分组查询注意力让头分小组共享 key 和 value，而不是各自维护一套，cache 大小按分组倍数下降，质量只掉一点。多查询注意力是极端情形，只共享一套。当前大多数大模型用的都是这两种之一。

分页注意力按固定大小的块分配 cache，而不是每个请求预留一整块连续的最大空间，从而消除了「为大多数请求根本到不了的长度预留」造成的浪费。正是它让服务系统能在同一批硬件上塞下更多并发的长上下文请求。

cache 量化用更低的精度存 key 和 value。

4 · 会跳过的注意力

这一类是近似方法，改的是注意力算什么，而不是它算得多高效。

滑动窗口注意力把每个 token 限制在附近位置上——成本线性，远处信息只能通过层层叠加间接够到。全局 token 指定少数几个位置让所有 token 都去关注，为长距离信息形成一个瓶颈。

生产模型里的实用模式是混合：大多数层用便宜的窗口注意力，少数层用完整注意力。成本大幅下降，同时仍有部分层保留全局视野。

为什么质量跟不上数字

一个能吃下一百万 token 的模型，可能对中间部分用得不好，原因有两个，彼此独立。

近似的注意力确实不会看到所有地方。而即使注意力是精确的，模型也必须学会使用远处的位置——极端距离上的位置模式在训练数据里很罕见。容量是在的，练出来的本事未必在。

这就造成了那个被反复记录的现象：长上下文里开头和结尾的信息，比埋在中间的材料用得更可靠。

宣传的上下文长度是容量声明，不是质量声明。这是两个不同的测量，而只有第一个会出现在营销话术里。

实际后果

检索仍然胜过硬塞。 用 RAG 选出对的那几千个 token，效果通常好过发一百万进去碰运气——更便宜、更快，也更准。

预填充主导了长上下文的延迟。 首 token 延迟随 prompt 长度陡增，因为完整的平方级成本一次性压下来。解码速度几乎不受影响。

长上下文的定价反映的是真实成本。 服务商常在超过某个阈值后收得更贵，因为成本在那里确实变了形状。

把重要内容放在两端。 这是对注意力实际分布方式的一种务实迁就。

要点回顾

• 注意力依然是平方级的；四项彼此独立的进展让长上下文变得可用。
• FlashAttention 在不做近似的前提下削减了显存搬运——单项贡献最大。
• RoPE 之所以能外推，是因为它编码的是相对位置；分组查询和分页注意力缓解了 KV cache 的瓶颈。
• 完整注意力加窗口注意力的混合方案，是常见的生产模式。
• 能接受长输入不等于能用好长输入；把关键材料放在两端，并且优先检索而不是硬塞。

下一篇： 状态空间模型