什么是量化？

一个参数就是一个数，而数需要比特来存。训练通常每个参数用 16 比特，所以一个 70B 模型光装权重就要约 140 GB——比任何一块消费级 GPU 都大。

量化用更少的比特来存它们。降到 4 比特，同一个模型只要大约 35 GB，能塞进你真买得到的硬件里。

取舍

比特越少，能表示的档位就越少。16 比特有几万个档位；4 比特只有十六个。每个权重都必须舍入到最近的可用值，这个舍入就是误差。

之所以可行，是因为神经网络对这件事的容忍度出奇地高。信息散布在几十亿个参数上，所以那些各自独立的微小误差大体上会相互抵消，而不是层层累积。

经验上的规律是：8 比特几乎无损，4 比特损失一点质量，低于 4 比特就明显劣化。具体拐点因模型和方法而异。

为什么它能提速

显而易见的好处是省内存。不那么显而易见的另一个是提速，而且往往更可观。

生成一个 token 需要把每个参与计算的参数从内存里读出来。在现代硬件上，瓶颈是这些内存搬运——不是算术。每个权重占的字节减半，每生成一个 token 要搬的数据也大致减半。

所以即使内存不吃紧，量化也能让生成更快。这也是 FlashAttention 背后的同一个洞察：真正限制吞吐的是内存搬运。

具体怎么做

按组缩放。 权重的分布并不均匀，所以整个矩阵共用一个缩放因子会浪费精度。做法是把权重切成小组，每组配一个自己的缩放因子。要多存一些缩放因子，精度却好得多——这是标准做法。

处理离群值。 少数权重和激活值远大于其余部分，而它们的影响又格外大。直接量化它们会毁掉质量。各种方法要么让离群值保持更高精度，要么在量化之前对权重做变换，把幅度重新摊开。

校准。 拿样本数据跑一遍模型，观察真实的取值范围，据此选量化的参数。几百个有代表性的样本通常就够，用贴近真实工作负载的数据会更有帮助。

训练后量化与训练中量化

训练后量化拿一个训好的模型来压缩。很快——几分钟到几小时——不需要任何训练基础设施。大多数人都用这种，各种有名有姓的方法主要区别在怎么处理离群值、怎么选缩放因子。

量化感知训练在训练过程中模拟舍入，让模型提前适应它。在极低比特下效果更好，代价是要跑一轮训练。

8 比特和 4 比特，训练后量化一般就够了。

量化的是哪些部分

权重是主要目标——它是静态的，压缩一次就能一直用。

激活值更难。它们随输入变化，动态范围更大，离群值也更多。很多部署只量化权重。

KV cache 量化对长上下文很重要，因为这时 cache 可能比模型本身的权重还占内存。它有效，而且是独立于权重量化的另一个决定。

实操要点

质量损失在不同任务上并不均匀。 综合基准测试可能几乎不动，某项具体能力却已经退化了。多步推理和代码生成往往最先受损，因为它们每一步的容错空间更小。用评测在你的任务上测，别看公开的平均分。

同等内存下，更大的量化模型通常胜过更小的全精度模型。 4 比特的 70B 一般强过 16 比特的 13B。这才是量化真正带来的那个实际选择。

QLoRA 能干净地和它结合——把冻结的底座量化，用更高精度训练适配器。只被读取而从不更新的权重，量化误差的影响小得多。

托管 API 可能已经在量化了。 服务商并不总会公开服务时用的精度，这也是模型行为可能在版本号不变时发生变化的原因之一。

要点回顾

• 量化用更少的比特存参数——8 比特近乎无损，4 比特略有损失，再低就明显劣化。
• 它之所以可行，是因为误差散布在几十亿个参数上，而不是层层叠加。
• 通过削减内存搬运来提速，而内存搬运才是真正的瓶颈。
• 按组缩放和处理离群值，是低比特能用的前提。
• 同样的内存预算下，更大的量化模型通常胜过更小的全精度模型。
• 在你的任务上测；综合基准会掩盖不均匀的劣化。

下一篇： 模型蒸馏