LoRA 与参数高效微调

完整的微调要更新每一个参数。对一个 70B 模型来说，这意味着要同时装下 700 亿个权重、梯度，以及优化器状态——好几倍于模型自身的内存，大多数硬件根本吃不消。

参数高效的方法只训练少量额外参数，原有权重保持冻结。其中占主导的是 LoRA，它那个核心观察值得搞懂。

低秩的想法

微调的时候，权重会变化一定的量。把这个变化记作 ΔW——一个和原权重矩阵形状相同的矩阵。

那个观察是：ΔW 的内禀秩很低。 针对某个具体任务所需的适配，比「所有权重变化的可能空间」简单得多。它可以用两个小得多的矩阵的乘积很好地近似。

所以与其直接学一个 4096×4096 的 ΔW——大约 1680 万个数——不如学两个矩阵：4096×8 和 8×4096。那大约是 65000 个数，减少了 250 倍。

推理时，输出等于原来那份冻结权重的结果，加上低秩乘积的结果。基座模型本身没有任何改变。

这样做换来了什么

内存。 优化器状态与可训练参数量成正比，而完整微调的内存其实大半花在这。LoRA 把训练内存砍掉一大截，这才让在单张 GPU 上微调大模型成为可能。

存储。 一个 LoRA 适配器是几 MB，而不是完整模型副本那样的几十上百 GB。你可以留几十个。

可热插拔。 这是最被低估的好处。内存里放一个基座模型，按需加载许多适配器——一套服务系统就能在同一个模型实例上承载许多任务专属变体。换成完整微调，就意味着每个变体都要一个完整模型。

不会遗忘基座。 原有权重没被动过，所以移除适配器就能精确还原原本的行为。灾难性遗忘的风险降低了，但没被消除——一个很强的适配器依然会盖掉有用的通用行为。

几个旋钮

**秩（rank）**是主要的那个旋钮——两个小矩阵的内侧维度。窄任务比如格式化，取低值（4-8）就够。风格变化或更广的行为改变，取更高（32-64）。秩越高容量越大、参数也越多；常见的错误是一上来就调太高，因为低秩的效果比人们预期的好。

alpha 缩放适配器的贡献量。通常设成秩或者秩的两倍，并且和学习率一起考虑，而不是单独调。

**目标模块（target modules）**决定哪些权重矩阵挂适配器。注意力的投影层是常规选择；把前馈层也纳入会增加容量和成本。一般来说，覆盖更多模块比在更少的模块上抬高秩更有效。

QLoRA

这个组合让大模型微调变得大众可用：把冻结的基座模型量化到 4 比特，然后在它上面用更高精度训练 LoRA 适配器。

基座在训练中只被读取，从不更新，所以出现在它上面的量化误差，远不如出现在可训练部分那样要紧。内存降到足以在单张高显存的消费级 GPU 上微调 70B 模型。

相比全精度 LoRA，实际质量损失很小。这是这个领域里杠杆较高的技巧之一。

它的短板

大幅行为改变。 如果适配确实需要大范围的权重变动——一门新语言、一个差别很大的领域——低秩更新会限制能到达的范围。老实说，答案是完整微调或继续预训练。

合并之后的服务复杂度。 适配器可以合并进基座权重，这样能消掉推理开销，但也消掉了可热插拔性。保持分离则每次前向传播要多花一点算力。根据你是否需要多个变体来选。

存事实还是不行。 RAG 还是微调？里的每一条局限原封不动地适用。参数高效并不会让权重更新变成存储知识的好办法。

其他方法

前缀微调与 prompt 微调学的是拼接在输入前面的连续向量，而不是改动权重。参数更少，效果一般不如 LoRA。

**适配器层（adapter layers）**在已有的层之间插入小的可训练模块。比 LoRA 更早出现；会带来推理延迟，因为这些模块没法合并掉。

DoRA 及类似变体把更新拆成幅度和方向两个分量，在参数量相同的情况下报告了更好的结果。

LoRA 和 QLoRA 仍然是务实的默认选择。

要点回顾

• LoRA 训练两个小矩阵来近似权重变化，基座权重保持冻结——可训练参数常常减少 100 倍以上。
• 它的前提是：任务适配具有低内禀秩。
• 换来的是训练内存、极小的适配器文件，以及在同一个基座模型上热插拔多个变体。
• 从低秩起步，并且覆盖更多模块，而不是抬高秩。
• QLoRA（4 比特冻结基座 + 上面加 LoRA）让大模型微调能塞进一张 GPU。
• 用来存事实仍然是错的工具。

下一篇： 模型是怎么被对齐的