过拟合与泛化

机器学习的目标，从来不是在你训练用过的那些样本上表现好。那些样本的答案你早就知道了。目标是在你从未见过的数据上表现好。一个把训练集啃得滚瓜烂熟、遇到新数据就垮掉的模型，就是过拟合了；避免这种失败，是整个领域的核心功课。

死记与学会

两个学生准备考试。一个把去年卷子的答案背下来，另一个把知识点本身学会。做去年那张卷子，两人都是满分。做今年那张不一样的卷子，背答案的崩了，学会的照常发挥。

这正是过拟合与泛化的差别。泛化好的模型抓住了数据里真实的模式；过拟合的模型只是把训练样本背了下来，连其中的噪声和偶然都一并背下，于是没有任何模式可以套用到新东西上。

陷阱在于，过拟合在训练过程中看起来像成功。训练损失一路下降，直逼零。如果只盯着这一个数字，你会为一个正在悄悄变得没用的模型庆功。这就是为什么「训练集上 100%」是警示信号，不是奖杯。

亲眼看到它发生

抓过拟合最干净的办法，是留出一部分模型从不训练的数据，同时盯着它在上面的损失。训练早期，训练损失和留出损失一起下降——模型学到的是到处都有用的真实模式。

然后两者分岔。训练损失继续降，留出损失却触底后开始上升。这个分岔就是过拟合的特征：越过那一点，模型学的已经不是可泛化的结构，而是在牺牲新数据的前提下死记训练集的怪癖。训练表现与留出表现之间的差叫泛化差距，不断变大的差距就是你要盯的东西。把这份留出数据搭对，正是训练/验证/测试集划分要做的事。

模型为什么会过拟合

两个因素在推动它。

相对于数据，容量太大。 一个参数远多于数据所能约束的模型，自由度高到可以把每个训练点都精确拟合，连噪声一起。十个数据点配上足够灵活的模型，它能画出一条完美穿过全部十点的曲线，却没学到任何普遍的东西。容量更大并不自动更好；它必须与数据中真实信号的量相匹配。

数据太少。 同一个模型在一千个样本上过拟合，在一百万个样本上可能泛化得很好。数据越多，可死记的空间越小，因为要记的东西实在太多，唯一紧凑地装下它们的办法就是找出真正的模式。这是训练数据规模对 LLM 如此重要的一个核心原因。

反方向的失败也存在。容量太小的模型会欠拟合——简单到连真实模式都抓不住，于是在训练数据和新数据上表现都差。目标在两者之间：复杂到能学会信号，受限到能无视噪声。

对抗过拟合

有几种手段把模型推向泛化，正则化那一篇会细讲，这里先点名：

• 更多数据，包括用贴近真实的变体给你手上已有的数据做增强。只要拿得到，这是最可靠的解法
• 正则化惩罚复杂度，让模型不敢过度依赖任何一个权重，把它推向更简单的模式
• 早停在留出损失刚开始上升的那一刻就停下训练，赶在死记硬背成形之前
• 简化模型，当容量明显超出数据所需时

它们底下是同一条主线：故意让模型更难死记，这样它手上最好的选择就只剩下学会普遍模式。

这个张力永远无法彻底化解

你没法把复杂度一次设成「正确」然后就不管了。压得太狠，你会欠拟合；一放松，过拟合又回来了。每个模型都住在这一谱系的某个位置上，而找到那个合适的位置靠的是经验搜索，不是公式。这个取舍的形式化版本——误差如何拆成「太简单」造成的一部分和「太敏感」造成的一部分——就是偏差-方差权衡。

这个张力也是为什么评测本身就是一门硬功夫。训练集上的那个数字，给不了你任何想要的信息。只有诚实测量出来的留出数据表现，才能说明模型是真学会了——而这正是训练/验证/测试集划分的用武之地。

要点回顾

• 目标是泛化——在没见过的数据上表现好——而不是训练损失低
• 过拟合是死记训练集（连同其中的噪声）；它的表现是留出损失上升而训练损失继续下降
• 它由「模型容量相对数据过大」或「数据太少」驱动；欠拟合是反方向的失败
• 用更多数据、正则化、早停和更简单的模型来对抗——都是让死记变得更难的办法
• 这个平衡是永不彻底解决的经验搜索，其形式化就是偏差-方差权衡

下一篇： 训练集、验证集、测试集——怎么切分数据，才能诚实地衡量泛化。