迁移学习：预训练为什么可以被复用

你不从零训练一个语言模型，原因就是迁移学习：一个花了巨大代价、在某个庞大通用任务上训过一次的模型，可以被复用到它从没训练过的无数具体任务上——往往只需要原始所需数据的一小部分。这是整个领域的经济基础。没有它，每个应用都得自己从零跑一遍训练，几乎没有哪个负担得起。

值得回答的问题是它为什么成立，因为答案会告诉你它什么时候行、什么时候不行。

到底什么东西在迁移

模型在海量语料上预训练时，并不只是把那批语料背下来。要在几十亿个各不相同的样本上都预测得好，它被迫建立内部的表示——可复用的机制，用来处理语法、句法、实体、常识关系、代码的结构。

这些表示就是可迁移的资产。它们是为了服务预训练目标而学出来的，但足够通用，也能服务其他目标。一个为下一 token 预测而学会表示句子结构的模型，已经握着对分类、翻译、抽取都有用的东西。你复用的不是答案，而是答案底下的那层理解。

这就是为什么预训练模型用几百个样本就能在新任务上表现良好，而从零训练的模型需要几百万个。大部分工作——建立表示——已经做完了。新任务只需要重新引导它们，而不是从头造。

学到的东西是分层的

表示不是铁板一块。在深层网络里它们形成一个粗略的层级，而这个层级决定了什么能迁移。

靠前的层学的是通用特征——低层次、适用范围广的结构，这个领域里几乎任何任务都需要。它们几乎不用改动就能迁移到很宽的任务范围上。

靠后的层学的是任务专属特征——更贴近原来的目标，更专门，也更难搬走。

这个结构就是标准迁移套路的由来：保留靠前的通用表示，调整靠后的专门表示。调整多少，是一个连续谱。

适配的连续谱

迁移学习不是一种技术，而是一个范围，按你改动模型的多少排序。

特征提取。 把预训练模型整个冻住，用它的表示作为固定输入，喂给你在上面新训的一个小组件。最便宜，需要的数据最少，基础模型一点不改。你用 embedding 模型时发生的正是这件事——表示本身就是产品。

微调。 在你的任务上继续训练预训练权重，学习率小得多。更强，但需要更多数据，而且有侵蚀掉你起点那份通用能力的风险——也就是灾难性遗忘问题。

参数高效适配。 一条中间路线：只调整一小撮新增或选定的参数，基础的大部分保持冻结，用几分之一的成本和风险拿到微调的大部分收益。

选择的规则：任务和预训练差得越远、手里的数据越多，就越往全量微调那头走。任务相近、数据少 → 特征提取。任务不同、数据充足 → 微调。

为什么预训练任务本身几乎不重要

一个很扎眼的特点：预训练目标不需要和你的目标任务相似，迁移照样成立。下一 token 预测和情感分类毫不相干，可下一 token 模型迁移过去效果极好。

因为目标只是手段，不是目的。它的职责是逼模型建立丰富的表示，而几乎任何足够难、数据足够多的目标都能做到这一点。表示比创造它的那个目标活得更久。这就是自监督预训练——预测下一个 token、填空——成为主流的深层原因：那个任务只是个由头，它有价值，仅仅是因为要做好它，就得具备你能复用的理解。

迁移什么时候会失败

迁移不是自动发生的，而失败的情形很有信息量。

领域差距太大。 建立在通用网页文本上的表示，迁移到一个完全陌生的领域效果很差——专门的记号体系、在预训练里几乎没出现过的语言。你的数据离模型见过的东西越远，它的表示就越不合身。

负迁移。 偶尔对一个不寻常的任务来说，预训练起点比随机初始化还差，因为那些表示把模型往错误的结构上带。罕见，但真实存在。

把迁移和知识混为一谈。 迁移搬动的是能力——表示和技能。它不能可靠地搬动事实。模型迁移了它推理文本的能力，却没迁移你所在领域的具体事实，这和微调教事实效果差是同一个道理。要事实，检索胜过迁移。

要点回顾

• 迁移学习复用预训练模型的表示——它处理结构与含义的通用机制——让新任务用少得多的数据就能起步。
• 迁移过去的是理解，不是答案，所以几百个样本能顶几百万个。
• 靠前的层装着迁移范围很广的通用特征；靠后的层是任务专属的，需要被适配。
• 适配是一个连续谱：特征提取（冻结）、微调（重训），以及夹在两者之间的参数高效方法。
• 预训练目标只是个由头——它重要，只因为做好它能建立可复用的表示。
• 迁移搬的是能力，不是事实；领域差距太大时它会失败。

下一篇： 超参数调优