人工评估与标注者一致性

自动指标量的是表面性质。凡是主观的东西——这段摘要忠不忠实、这个回答有没有帮助、这条回复安不安全——标准答案仍然是人。但人不是一件干净的仪器。让三个人给同一个回答打分，你会拿到三个分数；如果你证明不了自己的标注是一致的，那么用这些标注训练或评测出来的模型也同样不可信。量这份一致性，才是人工评估真正的功课。

为什么人工标注是锚点

每一个自动指标，追到底都是拿人来校准的。一个生成指标之所以「好」，只在于它和人的判断相关。一个模型裁判是靠跟人工标注比对来验证的。人工评估是整个测量体系的地基，正因如此，它的质量问题会四处蔓延：噪声大的人工标注会悄无声息地污染下游每一个指标。

问题在于：人跟人不一致

把同样的 100 条输出给两个标注员，他们给出的标注不会一模一样。有些分歧是合理的——任务本身确实模糊。但很多不是：

• 指南含糊。「给有帮助程度打 1-5 分」对不同的人意味着不同的事，于是评分尺度在不同标注员之间飘移。
• **主观性。**语气、质量、创造力都没有固定答案。
• **疲劳与漂移。**长时间标注下，一个人的标准会移动；同一条输出，早上打的分和第六个小时打的分不一样。
• **锚定与顺序效应。**前一条样本会影响后一条的判断。

如果标注员彼此不一致，这些标注就是噪声，用噪声打出来的分数没有意义。所以在拿人工标注做任何事之前，先量一量人之间的一致程度。

度量一致性

原始一致率——两个标注员标注完全相同的条目占比——是最直观的指标，也是会骗人的指标，因为它把碰巧的一致也算作成绩。如果 90% 的输出都是「可接受」，两个人随机瞎猜，大多数时候也会一致。很高的原始一致率可能几乎全是运气。

解法是用校正了随机概率的一致性统计量：

• Cohen's kappa，用于两个标注员。它减掉了随机情况下的期望一致，所以 0 表示「和瞎猜没差别」，1 表示「完全一致」。
• Fleiss' kappa 把它推广到两个以上的标注员。
• Krippendorff's alpha 能处理多个标注员、缺失标注，以及有序或连续量表——最灵活的选择。

kappa 的粗读法：低于 0.4 算弱（你的指南或任务本身需要改），0.4-0.6 中等，0.6-0.8 较好，0.8 以上很强。具体分界各领域不同，但结论是不变的：一致性低，就说明你的标注还不算一把可靠的尺子，收集再多也一样。

把一致性提上去

一致性低是可以修的流程问题，不是放弃用人的理由：

• **写出带例子的具体指南。**把「给有帮助程度打分」换成每个分数对应的具体标准和样例，包括那些难的边界情况。这是收益最高的修改，没有之一。
• **先试标、再校准。**让标注员标注同一批数据，一起复盘分歧，把指南改好，然后才放量。
• 优先用两两比较，而不是绝对分数。「A 和 B 哪个更好」在人之间的一致程度远高于「给这个打 1-10 分」，因为它不需要每个人先给自己定一把尺。基于排序的人工评估往往比基于打分更可靠，原因就在这里。
• **把量表简化。**有清晰锚点的 3 分制，通常胜过中间几档含义飘忽不定的 10 分制。
• **多人标注再聚合。**多数表决或取平均能抵消个人噪声，而分歧的散布本身就是信号，标出那些确实模糊、值得再看一遍的条目。

它的成本，以及这笔钱怎么花

人工评估又慢又贵，所以把标注员的时间当成真正的稀缺资源来用。几百条认真标注、一致性高的样本，价值高过几千条赶出来的——噪声标注不只是用处小，它会主动把你带偏。预算花在自动指标最弱的地方：忠实度、安全性、语气，以及整体质量判断。格式、完全匹配、回归检测这类交给便宜的自动检查，人只留给只有人才能判的主观内核。等你有了一个可信的人工标注集，就可以拿它去验证模型裁判，然后放心地把更便宜的那路信号放大。

要点回顾

• 在主观质量上，人的判断就是标准答案，也是所有自动指标和模型裁判用来校准的锚点。
• 人跟人不一致——原因有指南含糊、主观性、疲劳和顺序效应——所以标注可能是噪声，而噪声标注会污染下游的一切。
• 用校正随机概率的统计量（Cohen's/Fleiss' kappa、Krippendorff's alpha）来度量一致性，不要用原始一致率，那会把运气算成成绩。
• 提高一致性靠：带例子的具体指南、先试标再校准、用两两比较替代绝对分数、多人标注后聚合。
• 人工评估很贵——花在自动指标失效的忠实度、安全性和质量判断上，宁可要少量一致性高的标注，也不要一大堆噪声标注。

下一篇： 基准测试污染与古德哈特定律