统计显著性：为什么只比一次会骗人

你在测试集上跑了两个模型。A 得 84%，B 得 86%。你上线了 B。但你评测用的样本是有限的，换另外 200 个样本，结果可能就反过来了。这两个百分点的差距，可能是一次真实的改进，也可能只是运气。统计显著性（statistical significance）就是用来分辨这两者的方法，而跳过它，正是团队说服自己「噪声就是进步」的方式。

核心问题：你的测试集只是一个样本

你从来不是在所有可能的输入上衡量一个模型。你是在一个样本上衡量，然后把结果当作对真实性能的估计。样本估计都带着不确定性——换 200 个人重新做一次民调，即使什么都没变，数字也会略有不同。

所以当 B 以 2 分优势赢过 A，有两种解释：

1. B 确实更好。
2. B 和 A 一样好，只是 B 恰好在这一个样本上赢了。

显著性检验量化的就是第二种解释有多可能。如果它很可能，你什么也没学到。如果它极不可能，你就有了「存在真实差异」的证据。

样本量决定一切

同样 2 个百分点的差距，在不同量级下含义天差地别。

• 50 个样本： 2 个百分点就是 1 个样本。纯噪声。重新打乱一遍就没了。
• 200 个样本： 仍然远在随机波动的范围之内。不可信。
• 1 万个样本： 2 个百分点意味着几百个样本朝同一个方向移动。很难用运气解释。

直觉是这样的：小样本跳动剧烈，大样本稳定。一个有用的心算尺子是，比例的误差大致随样本量的平方根缩小——所以要把不确定性砍掉一半，得用四倍的数据。这就是为什么「我们在 30 个案例上测过，B 赢了」算不上论据，也是为什么严肃的对比要么需要足够大的测试集，要么得有诚实说出「结果无法定论」的底气。

p 值，以及它到底是什么意思

显著性检验会产出一个 p 值：如果两个模型其实一样好，看到至少这么大差距的概率。p 值低，意味着「没有真实差异」这个前提下，观测到的差距会很反常，于是你就有了「存在差异」的证据。常用阈值是 0.05——5% 的误报概率。

有两种误读要避开，因为它们到处都是：

• p 值不是「B 更好的概率」。它是「假设两个模型一样好」时这组数据出现的概率——区别微妙，但很重要。
• 「不显著」不意味着两个模型一样好。它意味着你缺少把它们区分开的证据，往往是因为测试集太小。没有证据，不等于证据表明没有。

置信区间比 p 值说得更多

p 值给出的是非黑即白的判决。**置信区间（confidence interval）**给出的是合理取值的范围，而后者几乎总是更有用。不要只报「B 得 86%」，要报「B 得 86%，95% 置信区间 [82%, 90%]」。

这样一来，区间是否重叠一眼就能说明问题。如果 A 的区间是 [80%, 88%]，B 的是 [82%, 90%]，两者大幅重叠——你不能声称 B 更好。如果区间干净地分开，你就可以。区间还传达了幅度：一个差异可以统计上显著，却小到实践中无关紧要，而只有区间能让这件事显形。只要能报区间，就别只报孤零零的分数。

配对比较：在同一批样本上测

对比两个模型时，有一个免费的大幅改进可用：让两个模型跑同一批测试样本，逐样本对比，而不是去比两个独立的平均值。

为什么有用：分数方差里有很大一部分来自「有些样本本身就难，有些本身就易」。如果两个模型看到的是同一批题目，这份共同的难度就抵消掉了，剩下的正是你真正关心的东西——它们的差异。一次配对检验（比如对逐样本胜负做配对检验，分类任务则用 McNemar 检验）用远少于「比较两次独立运行」的样本量，就能检出真实的差异。只要条件允许，对比就该配对。

多重比较的陷阱

拿 20 个 prompt 变体去和基线比，阈值定在 0.05，那么即使没有一个真的更好，你也该预期大约有一个「碰巧显著」——20 的 5% 就是 1。比较的次数够多，总会有东西越线。评测看板上的幽灵赢家就是这么来的。

防它的办法：对比较次数做校正（Bonferroni 是最简单、最保守的做法——把阈值除以检验次数），或者留出一个全新的测试集，在上面确认赢家之后再相信它。这个陷阱和基准测试污染与古德哈特定律直接相通——你越是拿一个固定集合去测，就越是在拟合它的噪声。对于线上对比，同一套逻辑支配着 A/B 测试：样本量要事先定好，不要中途偷看、一看到显著就停。

要点回顾

• 你的测试集只是一个样本，所以任何分数都带着不确定性——2 个百分点的差距可能是真实增益，也可能只是这个样本上的运气。
• 样本量是决定性的：不确定性大致随样本数的平方根缩小，所以小规模测试撑不起强硬结论。
• p 值是「两个模型一样好」时观测到这么大差距的概率——不是「B 更好的概率」；而「不显著」意味着无法定论，不等于两者相同。
• 要报置信区间：是否重叠说明差异是否真实，宽度说明它是否大到值得在意。
• 配对比较同一批样本以抵消共同的难度，并对多重比较做校正，免得给幽灵赢家加冕。

下一篇： 人工评估与标注