专家混合

在标准 transformer 里，每个 token 都要过一遍所有参数。参数翻倍，每个 token 的算力开销大致也翻倍。

专家混合（MoE）打断了这个绑定关系。模型存下很多参数，但每个 token 只走其中很小一部分。

机制

把一个前馈网络层换成若干份并行的副本——也就是 专家——再加一个小型 路由器 网络。

对每个 token，路由器给所有专家打分，选出分数最高的几个，通常是两个。只有它们运行。它们的输出按路由器的打分加权后合并。

于是一个有 8 个专家的层，参数量是稠密层的 8 倍，而每个 token 只激活其中 2 个。容量涨了 8 倍，每个 token 的算力只涨约 2 倍。

这就是为什么 总参数量和激活参数量是两个不同的数。一个号称总量 400B 的模型，每个 token 可能只激活 40B；它的速度和内存表现分别来自这两个数：内存看总量（所有专家都得常驻），速度看激活量。

为什么有效

参数用来存模式。不是每个模式都跟每个 token 相关。代码 token 用不着那些处理葡萄牙语诗歌的参数。

稠密模型强迫每个 token 走完全部参数，很浪费。路由让模型可以专精——不同专家处理不同种类的输入——每个 token 只为自己用到的部分付费。

这种专精不是指派出来的，而是在训练中自己冒出来的，因为它能降低损失。观察训练好的模型会发现，专家会偏好某些语言、句法模式或领域，只是实际的分工比「专家」这个词听起来要乱得多。

难点

负载不均衡是训练中的核心问题。没有任何东西天生阻止路由器把大部分 token 送给少数几个偏爱的专家，剩下的专家训练不足，容量白白浪费。所以训练里会加一个辅助损失，惩罚路由不均，鼓励均衡使用。在不伤质量的前提下把这份均衡调好，就是大部分工程工作量所在。

路由是离散的，因此不好训练。 选 top-k 个专家这一步不可微，梯度只能通过被选中专家的加权系数传到路由器。各种近似方法都有，但没有一个是干净的。

内存不会变小。 即使对任意一个 token 来说大多数专家都闲着，所有专家也必须在内存里。MoE 模型要占用总参数量对应的内存，却只交付激活参数量对应的速度——内存充裕时这是笔好买卖，不充裕时就是坏买卖。

分布式服务化更难。 专家常常分散在多台设备上，路由就意味着设备间通信。批次的构成影响命中的是哪些专家，让延迟比稠密模型更难预测。

微调更棘手。 路由行为可能在微调中发生偏移，让模型赖以变好的专精能力退化。

实际意味着什么

两个参数都要看。 「总量 400B，激活 40B」比单看任何一个数字都更能说明成本。拿 MoE 模型的总量去比稠密模型的参数量，是在比两个不同的东西。

MoE 模型在单位推理算力上的表现很强——这就是它的意义。按单位内存算，就没那么亮眼了。

自托管比激活量看起来的要难。 内存需求由总参数量决定，所以一个生成速度和 40B 稠密模型相当的 MoE 模型，可能要 400B 级别的硬件。

延迟波动更大。 如果对延迟要求严格，这一点值得实测，而不是想当然。

与其他效率工作的关系

MoE 省的是每个 token 的算力。量化省的是每个参数的内存。投机解码省的是串行步数。三者互相独立，可以叠加——生产环境常常三个都用。

值得区分两种稀疏性：这里说的稀疏，是架构在做条件路由；而注意力模式里的稀疏，是序列被有选择地关注。机制不同，省下的东西也不同。

要点回顾

• MoE 把一个前馈网络层换成许多 专家，外加一个每 token 只激活少数几个的 路由器。
• 容量随总参数扩展，算力随激活参数扩展——把规模和速度解开了。
• 专精是训练中自然涌现的；负载均衡需要显式加一个辅助损失。
• 内存由 总 参数量决定，自托管的难度超过激活量给人的印象。
• 永远两个参数量都看，它们回答的是不同的问题。

下一篇： 长上下文是怎么成为可能的