梯度下降

损失函数告诉你模型错得有多厉害。梯度下降则是模型减少错误的方式：它算出每个权重该往哪边拨才能降低损失，然后朝那个方向走一小步。重复几百万次，一个由随机数组成的网络就变成了能用的模型。几乎所有神经网络，包括每一个 LLM，都靠这一个算法训练出来。

山谷这个比喻

把损失想象成一片地形。模型当前的权重把它放在这片地形上的某个位置，某个高度——那就是当前的损失。地势高不好（损失大），地势低好。训练就是朝山谷往下走。

麻烦在于：你看不到整片地形。它有几十亿个维度，一个参数一个，而你只知道身边这一小片。那么，看不见山谷的时候怎么往下走？你摸一摸脚下这一点的坡度，朝最陡的下坡方向迈一步。一句话概括梯度下降，就是这样。

梯度就是斜率

梯度是损失相对于权重的数学斜率。对每一个权重，它回答一个精确的问题：如果我把这个权重调大一点点，损失会上升还是下降，陡不陡？

• 某个权重的梯度是一个大的正数，意思是「调大这个权重会让损失大幅上升」——所以要调小。
• 梯度是一个大的负数，意思是「调大它会让损失大幅下降」——所以要调大。
• 梯度接近零，意思是「这个权重当下几乎不影响损失」——那就基本别动它。

梯度把模型里每一个权重的这样一个数字——几十亿个——打包成一个指向上坡的方向。要往下走，就朝反方向迈步。在一个深层网络里，这些数字是怎么算出来的，是反向传播的活；而梯度下降是拿到它们之后你怎么用。

更新公式与学习率

每一步都遵循同一条规则：把每个权重都朝下坡方向挪一点。

new_weight = old_weight - learning_rate * gradient

学习率就是步子的大小，也是训练里最重要的那个旋钮。太小，学习慢得像爬，耗时漫长还容易卡在浅浅的洼地里。太大，你会一步跨过整个山谷，四处乱蹦，或者直接飞到无穷远——损失变成 not-a-number，训练当场死掉。

不存在一个普适的正确取值；它要按问题来调，而调得好与不好，就是训练这门手艺的大半。现代优化器会在训练过程中自动调整它，这个话题在优化器与学习率里展开。

一步一步来，按批走

你可以在每一步之前，在整个训练集上计算梯度。对于大数据集来说这慢得不可能——一步可能就要读几十亿个样本。

所以训练用的是随机梯度下降：用一小批随机样本估计梯度，走一步，再抓下一批，重复。每一次估计都带噪声，但噪声会在许多步之后相互抵消，于是你得到的是几千步便宜的更新，而不是少数几次昂贵的更新。噪声甚至还有好处——它能把模型从浅浅的糟糕位置晃出来。批大小因此成了一个实打实的旋钮：批越大，梯度越稳，但每一步更费内存和算力。

把训练数据完整过一遍叫做一个轮次（epoch）。训练要跑很多轮，反复看到每一个样本，每一次都把权重往下拨一点点。

为什么它不必做到完美

大网络的损失地形不是一座干净的山谷，而是一片坑洼起伏的地表，有数不清的洼地、山脊和平原。梯度下降并不保证能找到最深的山谷——也就是全局最小值——而事实上它很少找到。

结果这并不要紧。在高维网络中，众多局部山谷往往彼此水平相当，所以落进一个还不错的就能得到一个很强的模型。追求理论上的最优没有必要；真正的目标是「稳定地足够好」。这种「可证明最优」与「实践中好用」之间的落差，是这个领域反复出现的主题，而梯度下降是它最清楚的例子。

完整的训练循环

把这些拼起来，就是模型学习的方式：

1. 前向传播：把一个批跑过网络，拿到预测。
2. 计算损失：量出这些预测错得有多厉害。
3. 反向这一趟：用反向传播算出损失对每个权重的梯度。
4. 更新：按学习率乘以梯度，把每个权重往下坡拨一点。
5. 对下一批重复，跑很多轮。

你用过的每一个训练好的模型——每一个 LLM、每一个图像分类器——都是这个循环在极大尺度上跑出来的产物。整个预训练阶段，就是把这个循环用在数以万亿计 token 的下一 token 预测上。

要点回顾

• 梯度下降通过在权重空间里反复朝下坡迈步来最小化损失。
• 梯度是损失对每个权重的斜率；朝它的反方向迈步就能降低损失。
• 学习率决定步子大小——太小就爬，太大就发散——是最关键的旋钮。
• 随机梯度下降用小的随机批次，换来许多便宜但带噪声的步子，而不是少数昂贵的步子。
• 它找到的是一个足够好的山谷，不是完美的那个，而对大网络来说这就够了。

下一篇： 反向传播——每个权重的梯度究竟是怎么算出来的。