AI 中的概率

几乎所有现代 AI 模型给你的都是概率，而不是答案。分类器不会说「猫」，它说的是「88% 猫，9% 狗，3% 狐狸」。LLM 不是挑出下一个词，而是为每一个可能的下一 token 算出一个概率。一旦你把输出看作分布而不是决策，很多原本费解的模型行为就变得一目了然。

分布就是信念的摊开

概率分布给每个可能的结果分配一个数，这些数都非负，且加起来等于 1。正是「加起来等于 1」这个约束，让它成为分布，而不是一串随便什么分数：它逼着各个结果互相竞争——给一个的多，就得给其他的少。

「88% 猫，9% 狗，3% 狐狸」就是三个结果上的分布。LLM 在整个词表上的输出也是——几万个 token，每个带一个概率，加起来等于 1。分布的形状是有含义的。尖峰分布（某个结果接近 1）说明模型在下定决心；平坦分布（概率散在很多结果上）说明模型看到了好几种合理可能。这个形状就是每一个采样决策的原材料。

从原始分数到概率：softmax

网络最后一层吐出的数，天然不会加起来等于 1。前向传播为每个结果产出一个原始分数——这就是 logit——可以是任意正负数。[3.2, 1.1, -0.5] 这组 logit 不是分布：加起来不等于 1，还有一个是负数。

Softmax 就是把 logit 变成合法分布的函数。它做两件事：先对每个分数取指数，让所有值变正、并放大较大的分数；再逐个除以总和，让它们加起来等于 1。结果就是一个正规分布：最大的 logit 拿到最大的概率，但较小的那些也还分得到一份。

这个换算的细节——以及为什么取指数而不是简单归一化很关键——见 logit 与 softmax。这里重要的只是它的角色：softmax 是从网络的原始输出，到你真正能拿来用的概率分布之间的标准桥梁。每一个多分类器和每一个 LLM 都是这么收尾的。

温度：让分布变陡还是变平

因为 softmax 要取指数，所以在套用它之前，你可以用一个旋钮调节结果分布有多尖。这个旋钮就是温度。

• 低温度让分布向最靠前的结果收窄——模型变得更自信、更确定。
• 高温度把它压平，把概率摊向不太可能的结果——更多变化，也更多风险。

你在采样参数里见到的那个 temperature 设置，背后的机制就是它。它不改变模型认为什么最可能，只改变在抽签之前这份信念表达得有多锋利。temperature 为 0 会退化成永远取概率最高的那一个 token；数值越高，真正的随机性就越多。

采样：把一个分布变成一个输出

分布是一片可能性，但最终你需要一个具体的输出。你从分布里采样——按各结果所占的份额作为概率去抽。概率 0.7 的 token 大约 70% 的次数会被选中，概率 0.01 的很少被选中。

这就是同一个 prompt 每次运行能给出不同答案的原因，而这不是 bug。模型产出了一个分布，采样从中抽到了不同的 token。如果永远取概率最高的那一个，文本会变得重复，通常也更差——所以一般都会保留一点随机性。这一整类选择——从分布里取多大范围来采样、怎么砍掉不可能的长尾——都在采样参数里。

置信度不等于正确

这是最重要、也最被误解的一点。模型的概率陈述的是它内部的模式，不是事实。一个在 0.97 处出现尖峰的分布，说明训练让模型形成了指向该结果的强模式；不代表这个结果在现实中 97% 会是对的。

模型常常是校准不佳的：一个说 90% 的模型，可能只有 70% 的时候是对的；一个自信的错误答案，也可能带着一个非常尖的分布。这是幻觉的一个根源——流畅、高概率，但就是假的。分布反映的是统计置信度，而统计置信度和事实准确性是两回事，只是偶尔才重合。把模型的确定程度当成一个需要权衡的信号，永远别当成保证。

为什么它是所有下游环节的地基

概率是这些系统的母语。训练最小化的损失就定义在概率之上——交叉熵奖励的是把高概率给正确答案。生成从概率分布里采样。评测问的是这些概率是否校准良好、是否准确。当你明白模型输出的是一个分布、而 softmax 加 temperature 决定了它的形状，每一个生成式系统的行为——它的变化、它的自信、它的失败——就不再神秘了。

要点回顾

• 模型输出的是概率分布——覆盖所有结果、加起来等于 1 的一组数——而不是单个答案。
• Softmax 把网络的原始分数（logit）变成合法分布；分类器和 LLM 都以它收尾。
• 温度让分布变陡或变平，控制输出的自信程度和多样性。
• 采样从分布里抽出一个结果，所以同一个 prompt 可以给出不同答案。
• 置信度不等于正确：尖峰分布反映的是强内部模式，不是被验证过的事实——很多幻觉由此而来。

下一篇： logit 与 softmax ——从模型原始分数到下一 token 概率的那一步精确换算。