权重与偏置

神经网络是一套固定的运算模式。让一个网络认猫、另一个翻译法语的，不是这套模式——而是插进去的那些具体数字。这些数字就是权重和偏置，也是训练唯一会改变的东西。模型学到的一切都存在这里，别处没有。

权重：每个输入有多重要

回忆一下神经元的核心运算：把每个输入乘上一个权重，加起来，再加一个偏置。

sum = w1*x1 + w2*x2 + w3*x3 + b

每个权重 w 控制一个输入的影响力。一个大的正权重意味着「这个输入一变大，就使劲把输出顶上去」。负权重则反过来。接近零的权重意味着「忽略这个输入」。

想象一个给贷款申请打分的网络。如果收入的权重又大又正，收入就会强烈抬高分数。如果某个无关字段的权重接近零，网络实际上已经学会忽略它了。这些权重没人手工设过——它们是训练出来的。权重就是那条学到的规则，只不过表达成一堆数字，而不是一句英语。

偏置：平移基线

偏置 b 不管输入是什么都会被加上。它决定了在任何输入开口之前，这个神经元的默认倾向。

没有偏置的话，当所有输入都是零时，每个神经元都被迫输出它激活值的中点。这是一条没来由的约束。偏置让神经元可以轻易发火（偏置高）也可以不情不愿（偏置低）。具体一点：如果你想要一个只在证据很强时才激活的神经元，一个负偏置就抬高了加权和必须跨过的门槛。它就是 y = mx + b 里的截距——权重是斜率，偏置决定这条线坐在哪里。

数量上不起眼，但很重要。把偏置拿掉，网络会失去多得惊人的灵活性。

为什么它们叫「参数」

权重和偏置合起来就是模型的参数——那些由学习设定的、可调整的数字。当模型被描述成「7B 参数」时，那 70 亿就是它所有层里权重和偏置的总数。

数字之所以大，是因为层是稠密的。一层接收 1000 个输入、输出到 1000 个神经元，光这一层就需要 1000 x 1000 = 100 万个权重，外加 1000 个偏置。堆上几十个宽层，数量很快就爬到几十亿。权重比偏置多得多——每个神经元一个偏置，但每一条「输入到神经元」的连接都有一个权重。

这也是为什么训练好的模型是个大文件。保存模型就是保存这些数字里的每一个。不存在另一个独立的知识库；正如LLM 是什么？里所说，参数就是知识。

它们从哪开始，往哪去

最开始，权重被设成小的随机数，网络的输出是无意义的噪声。随机是刻意的——如果每个权重起点都一样，一层里每个神经元算出的东西就一模一样，并且永远保持一样，什么都学不到。随机的起点打破了这种对称。

然后训练接手。每一步用损失函数量出输出错得有多离谱，算出该把每个权重和偏置往哪个方向推才能减少这份错误，然后迈一小步。这个方向来自梯度下降；把它在所有层上算出来的方法叫反向传播。重复几十亿次，那堆随机噪声就慢慢沉淀成能产生连贯行为的数字。

一个有用的心智模型

把权重和偏置想成几十亿个小旋钮。训练就是一个缓慢的过程：每次把每个旋钮拧一丁点，直到整台机器表现正常。不存在某一刻网络「懂了」——只存在一种旋钮的配置，它恰好在训练数据上产出正确的输出，而且如果训练得当，在新数据上也一样。

这个框架能解开很多疑惑。微调是为一个更窄的任务，去轻推一组本来就不错的旋钮。量化是用更低的精度存储每个旋钮，好省内存。LoRA是学一个对旋钮的小修正，而不是把它们全都动一遍。这些技术本质上都是管理权重和偏置的不同方式。

要点回顾

• 权重决定每个输入对神经元影响多大；偏置平移它的基线输出。合起来就是模型的参数。
• 这些数字是训练唯一改变的东西，也是模型所学一切的存放处。
• 参数数量能到几十亿，因为稠密层每条连接都要一个权重；权重比偏置多得多。
• 权重从小随机值开始（随机是为了打破对称），被梯度下降一点点推，直到网络表现正常。

下一篇： 前向传播 —— 网络怎么用这些数字把输入变成输出。