上下文学习：few-shot prompting 为什么有效

在 prompt 里放三个带标签的例子，模型在第四条上就做得更好。没有训练，没有权重更新，没有梯度。这份提升完全活在一次前向传播里，prompt 一结束就消失。

这就是上下文学习，它怪到值得解释一番。一个参数冻结的系统，居然会从推理时看到的例子里「学习」。怎么做到的？

不改变权重的「学习」

先把共用「学习」这个词的两件事分开。

训练用梯度下降调整权重。它是永久的，模型就是这么来的。

**上下文学习（in-context learning）**什么都不调整。prompt 里的例子成了输入的一部分，模型把它们和你真正的问题一起读进去，输出就随之改变。会话一关，效果就没了。

这个机制不是任何意义上持久的记忆。它只是：模型以当前上下文窗口里的全部内容为条件做下一 token 预测，而你的例子现在成了「全部内容」的一部分。你看到的行为，就是模型那套冻结的参数在对一个更丰富的输入做出反应。

「补全模式」这个视角

思考 few-shot prompting 最可靠的方式是这样的：模型与其说是在「理解你的任务」，不如说是在补全你起头的那个模式。

给它这个：

评论：「很喜欢，还会再买。」      情感：正面
评论：「一天就坏了。」            情感：负面
评论：「按时到货，用着没问题。」  情感：

在预训练期间，模型见过海量的结构化文本。你这三行确立了一个格式和一层映射。能最好地延续这个特定模式的那个下一个 token，恰好就是正确的标签。任务是被「补全模式」顺带解决的。

这个框架能解释很多原本让人困惑的表现，下面几节会讲。

例子到底教了什么

一个反直觉的发现：例子的格式比它的标签对不对更重要。

有研究把 few-shot prompt 里的标签打乱——给输入配上错答案——结果准确率的下降远小于你的预期。例子主要传达的是任务的形状：标签空间（允许的答案是这些）、输入分布（输入长这样），以及格式（输出应该这么组织）。

实用的读法不是「标签无所谓」，而是例子同时干好几件事，而示范格式和空间所占的价值比任何一个正确答案都大。这也是为什么一个格式糟糕的例子比一个标签写错的例子更毁 prompt。

它为什么会出现

上下文学习不是设计出来的。没人往里加过一个「从例子里学习」的模块。它是随着模型变大自己冒出来的，和别的涌现能力一样。

一个说得通的解释是：要在全人类的文本上把下一 token 预测做好，模型必须能处理自带模式的文档——术语表、对照翻译表、格式化清单、给完例题再给同类题。把这项通用本事练好，就等于练好了「从看得见的实例里推出规则，再应用它」。上下文学习就是这项本事，被你对准了自己的 prompt。

这就是它在更大的模型里更强的原因。追踪并延展模式的内部机制，正是规模化所建造的东西。

由此而来的局限

因为它是固定输入内部的模式补全，上下文学习带着几条硬边界。

**它得装进上下文窗口。**你的例子在每一次调用里都要花 token。二十个例子和三个例子是完全不同的经济账，而且有上限。当你需要几百个例子时，这说明该上微调了——例子搬进权重里，不再按请求计费。

**它不持久。**什么都不会带到下一次对话。模型不记得自己以前见过你的例子。

**它加不了缺失的能力。**如果基座模型不会做算术，算术的例子也教不会它——例子只能把已经潜在的能力唤出来、指个方向。few-shot prompting 是在重新分配已有的能力，不创造新能力，微调撞上的也是同一条边界。

**它对顺序和选择敏感。**选哪些例子、按什么顺序，都会可测量地改变输出。这是模式补全的一个特性，不是靠调 prompt 能消掉的 bug。

怎么用这套理论

落到写 prompt 上的具体几条：

• **格式和你想要的输出完全一致。**例子首先教的是形状。例子之间格式不一致，教出来的就是不一致。
• **把标签空间覆盖到。**如果某个类别在例子里从没出现过，模型就没有多少证据说明它是允许的。
• 挑靠近难例的例子，不是挑最明显的——和管数据集整理的是同一条挑选原则。
• **准确率到平台期就别再加例子。**过了那个点，多出来的 token 纯粹是成本。

要点回顾

• 上下文学习靠 prompt 里的例子改善输出，权重零改动——效果活在一次前向传播里，过后就没了。
• 把它当成模式补全：模型延展你的例子所确立的结构，解决你的任务是顺带的结果。
• 例子教格式和标签空间，和教正确答案一样重要，所以格式一致极其要紧。
• 它是规模化之后，在带模式的文本上做下一 token 预测的产物，不是刻意设计出来的。
• 局限是实打实的：每次调用都花 token，不持久，也加不了基座模型缺的能力。

下一篇： Prompt 模式与反模式