评测
衡量一个模型、一条管线、一个 agent 是不是真的管用。
15 篇教程，横跨 17 个学习层中的 5 个——按前后衔接顺序编排。
10评测
- 偏差-方差权衡预测误差分成两个方向相反的部分。模型太简单会漏掉规律；太复杂会把噪声背下来。两者的拉扯决定了每一个建模选择。
- 评测为什么比训练更难训练只需要最小化一个数字。评测却得先定义什么叫「好」，而定义错了的大多数方式，要到生产环境才会暴露。
- 基准测试污染与古德哈特定律一个测试一旦变成目标，就不再是好的度量。两股力量——测试数据泄漏和刷指标——让公开分数不断偏离真实能力。
- 精确率、召回率、F1 与准确率四个描述分类器的数字，各自回答一个具体问题。选错了指标，你就会朝错误的方向优化。
- 混淆矩阵：准确率为何会骗人一张 2x2 的表，把分类器答对和答错的部分按类型拆开。所有分类指标都由这四个格子推导而来，它也说明了为什么单个数字永远不够用。
- 人工评估与标注者一致性在主观质量上，人就是标准答案。但人与人会分歧，所以你必须先量一量自己的标注是否一致到可以信任。
- 回归指标：MSE、MAE 与 R²当模型预测的是一个数字而不是一个标签，你衡量的是它错得有多大。MSE、MAE 和 R² 各自回答关于这些误差的不同问题。
- 检索与排序指标搜索和 RAG 返回的是一个排序列表，不是一个答案。召回率@k、精确率@k、MRR 和 nDCG 各自给这个列表的不同侧面打分。
- ROC 与 AUC：不依赖阈值的评测分类器输出的是分数，不是决策。ROC 和 AUC 评判的是分数本身，在你选定任何切点之前就已经成立，并用一个数概括排序质量。
- 统计显著性：为什么只比一次会骗人模型 A 得 84%，模型 B 得 86%。是 B 更好，还是它只是碰巧在你的测试集上走运？显著性检验能把真实差异和噪声分开。
- 文本生成指标：BLEU、ROUGE、METEOR怎么给生成的文本对照参考答案打分？这些指标数的是词语重叠，快而便宜，却系统性地与人类判断不一致。