模型是怎么被对齐的

一个预训练模型只会预测文本。它没有「要有用」这个概念，你问它一个问题，它可能还你一串问题。

对齐（alignment）就是补上这道缺口的训练。分两个阶段，第二个阶段才是有意思的那个。

第一阶段：监督微调

拿「指令 + 好回答」的样本去训练。就是在示范数据上做普通的微调。

光这一步就能改变行为——模型学会了「请求-回应」这个框架，知道自己扮演的是助手，也大致知道一个好回答长什么样。你感觉到的「它现在像个助手了」，大部分变化都发生在这里。

它的天花板在于：你只能示范。为每一种请求都写出完美回答是不可能的，而且很多 prompt 根本没有唯一正确答案——只有更好和更差。

第二阶段：从偏好中学习

打开后面所有可能性的那个洞见是：判断两个回答哪个更好，比亲手写一个完美的容易得多。

所以就去收集比较数据。对同一个 prompt 生成两个回答，让人指出哪个更好，在大量 prompt 上重复这件事。这样你拿到的是偏好数据，而不是示范数据。

基于人类反馈的强化学习（RLHF）分三步用它。先训练一个奖励模型——一个独立的网络，输入 prompt 和回答、输出一个分数，训练目标是让更受偏好的回答得分更高。然后优化语言模型去最大化这个分数，用的是强化学习（经典选择是 PPO）。同时加一项惩罚来约束它，偏离起点模型太远就受罚，否则它会退化成「奖励模型碰巧高估什么就生成什么」。

这个约束不是可选项。没有它，优化会找出那些得分很高、读起来却是一堆废话的退化输出。

DPO 能达到类似效果，却不需要单独的奖励模型，也不需要强化学习那一套机器，它推导出一个损失函数，直接提高被偏好回答的相对概率。实现和训练都更简单，现在被广泛使用。还有若干相关的变体。

RLAIF 用模型生成的标签替换人工标签，由一份写好的原则清单来引导。规模可以远超人工标注的上限，代价是把问题换成了：打分模型的偏好是不是你想要的那种。

偏好训练真正塑造的是什么

不是知识——知识来自预训练。它塑造的是：

**有用性。**回答你问的那个问题，而不是旁边那个。

**格式习惯。**有没有结构、多长、用不用列表、回答开头要不要先来一段铺垫。

**语气。**含糊还是笃定，冷不冷淡。

**拒答行为。**基座模型完全没有「拒绝」这个概念。你见过的每一次拒答，都是这个阶段学来的倾向。

**啰嗦。**人工标注员倾向于偏好更长、看起来更周全的回答，所以在他们偏好上训练的模型会越来越啰嗦。这是有充分记录的偏差，也是为什么一个对齐后的模型经常用四段话讲一段话就能讲完的事。

代价

**能力可能被换掉。**向安全、可预测的输出对齐，会收窄模型愿意尝试的范围。在创意类或反常的任务上有时看得出来，这也是为什么有些从业者在某些生成任务上仍然偏爱基座模型。

**奖励作弊（reward hacking）。**优化瞄准的是奖励模型，不是背后的真实目标。两者之间任何缝隙都会被利用——产出得分更高但质量更差的输出。奖励模型只是个代理指标，而代理指标总会漏。

**拒答是倾向，不是规则。**背后没有任何规则引擎。学来的倾向泛化得并不完美，这就是为什么相似的请求会得到时灵时不灵的拒答。同样地，system prompt 只是一个很强的默认值，不是一条边界——两者都来自训练形成的模式。

**偏好里编码着「谁的偏好」。**标注员的人群构成、发给他们的标注说明、为 AI 反馈写的那份原则，全都在塑造结果。「对齐」永远意味着对齐到某个具体的东西。

**谄媚。**在人类认可上训练的模型倾向于附和，连错误的纠正也照附和。这可以直接追溯到训练目标。

这在实践中意味着什么

**助手人格是一层外壳，不是本质。**它底下仍然在预测 token。那种笃定的有问必答是训练出来的表层行为，不携带任何关于准确性的信息。

啰嗦是训练的产物，所以明确要求它简短，是值得做的。

**「听话」的压力会助长幻觉。**回答比拒答得到的奖励更多，所以明确允许它说「我不知道」能确实地改变行为——你是在对冲一个训练出来的偏差。

**模型更新会在版本号不变的情况下改变行为。**对齐微调在不同版本之间会调整，所以评测需要重跑。

要点回顾

• 两个阶段：在示范数据上做监督微调，再在比较数据上做偏好训练。
• 判断两个回答哪个更好，比亲手写出一个完美的容易——这个不对称就是整件事的基础。
• RLHF 用奖励模型加强化学习，再加一项偏离惩罚；DPO 两样都不要；RLAIF 用模型标签替换人工标签。
• 塑造的是有用性、格式、语气、拒答和啰嗦程度——不是知识。
• 代价：能力上的取舍、奖励作弊、时灵时不灵的拒答、被编码进去的偏好，以及谄媚。

下一篇： 推理模型是怎么工作的