激活函数

在神经网络里，每个神经元先算出一个加权和，再把它送进一个激活函数——一个小小的非线性步骤。这一步看着不起眼，深度网络之所以能工作，全靠它。把它拿掉，一百层的网络会塌缩成一层的能力。

为什么只有线性不行

加权和是线性运算。叠两层线性层，数学上会化简：线性函数的线性函数，仍然只是线性函数。你可以用代数证明它，但真正要紧的是后果——层与层之间没有非线性步骤，加层就毫无意义。整座塔退化成一个单独的直线模型。

直线模型只能分开一条直线能分开的数据。它学不会「恰好一个输入为开时输出为正」，画不出两条交缠螺旋之间的弯曲边界，也表达不了任何真正复杂的东西。真实数据里满是曲线和交互。线性模型弯不了。

激活函数在每一层之后插入一个弯折。这样一来层不再塌缩，叠起来就能让能力累加。每层可以把空间扭曲一点点，许多次小扭曲就能造出任意复杂的边界。这就是通用近似性质背后的机制。

ReLU：干活的主力

最常见的激活函数简单到有点不好意思。ReLU——修正线性单元——输入为正就原样输出，否则输出零：

relu(x) = max(0, x)

喂它 3.2，得到 3.2。喂它 -1.5，得到 0。这就是整个函数。它是非线性的（零点那个折角就是非线性所在），而且便宜——一次比较，没有昂贵的运算。每次前向传播要算几十亿次，便宜就很要紧。

ReLU 还避开了一个困扰早期激活函数的问题：它不压缩大的正值，所以即便在深度网络里，活跃神经元的学习信号也依然强劲。这个性质很大程度上解释了为什么极深的网络变得可训练，也是 ReLU 及其变体统治现代模型隐藏层的原因。

它唯一的怪毛病：一个卡在负值上的神经元永远输出零，可能彻底停止学习——这就是「ReLU 死亡」问题。那些允许一小段负斜率通过的变体，正是为补这个洞而存在。

Sigmoid：压成一个概率

在 ReLU 之前，标准选择是 sigmoid。它沿着一条平滑的 S 形曲线，把任意输入压到 0 到 1 之间：大负数趋近 0，大正数趋近 1，零映射到 0.5。

这个取值范围让 sigmoid 特别适合一项特定工作：把原始分数变成概率。二分类器的最后一个神经元几乎总是 sigmoid，所以它的输出可以直接读作「73% 的可能」。这直接连到 AI 中的概率，也连到模型如何表达置信度。

但在隐藏层里，sigmoid 失宠了。它的曲线在两端急剧变平，而平坦处的学习信号几乎消失——这就是「梯度消失」问题。在深度网络中，信号穿过许多个 sigmoid 后会衰减到零，靠前的层就此停止学习。这正是早期深度网络难以训练的具体原因之一，也是 ReLU 不压缩这一特性为何是实用层面上重大突破的原因。

怎么选

经验法则很短。隐藏层用 ReLU（或它的变体）——便宜、信号不灭、训练顺畅。输出层的激活函数按任务来选：单个概率用 sigmoid，多类别的概率分布用 softmax，回归任务常常完全不加激活函数，好让输出可以是任意数值。

其他大多数激活函数都是这些思路的改良——更平滑的折角、可学习的斜率——在具体问题需要时才选用。要记住的是两种角色：隐藏层里的非线性，输出端的范围塑造。

与现代模型的关联

transformer 的每一层，前馈模块里都有一个激活函数，选哪个会同时影响速度和质量。当你读到某个模型用了某种特定激活函数，说的正是这件事：每次加权和之后，施加什么样的非线性弯折。原理和两个神经元的玩具例子没有区别——非线性才让深度有了意义。

要点回顾

• 层与层之间没有非线性激活函数，深度网络就会塌缩成一个只能画直线边界的线性模型。
• ReLU（max(0, x)）便宜，能让学习信号保持强劲，统治着隐藏层。
• Sigmoid 把值压到 0-1，适合表示概率，但两端变平，在深层隐藏层里会导致梯度消失。
• 输出激活函数要匹配任务：一个概率用 sigmoid，多个类别用 softmax，回归任务不加。

下一篇： 损失函数——网络如何精确衡量自己的输出错得有多离谱。