超参数调优

有一部分数字是训练替你学出来的——权重。另一些得在训练开始之前定好：学习率、正则化的强度、批大小、层数。这些就是超参数，把它们选好是一个搜索问题，路上有两个坑：浪费算力，以及自欺欺人地以为自己做出来的结果比实际更好。

参数与超参数

这个区分很干净，值得说准：参数由训练过程从数据里学出来；超参数配置的是训练过程本身，由外部设定。

学习率、正则化强度、批大小、轮次（epoch）数、模型的深度和宽度——这些都不是梯度下降学出来的。它们决定学习怎么发生。你没法像优化权重那样优化它们，因为它们站在权重所最小化的那个损失函数之上。所以只能搜。

搜索的三个维度

每一种调参方法都在回答三个问题。把它们命名出来，整件事就清楚了。

**搜什么。**超参数的重要性并不均等。学习率几乎总是主导性的，其他很多几乎不影响结果。把预算花在那少数几个有影响的上面，好过撒胡椒面。如果只调一样，就调学习率。

在哪找。取值范围很重要，很多超参数最好在对数尺度上搜——试 0.1、0.01、0.001，而不是 0.1、0.2、0.3。学习率的作用是乘性的，按原始数值均匀取点，会把样本全扎堆在错误的区间。

**怎么采样。**那些有名字的方法都属于这一条。

搜索方法

**网格搜索。**在预先定好的网格上把每种组合都试一遍。简单、穷尽，但成本爆炸：四个超参数各取三个值就是 81 次训练，而且大量算力浪费在那些根本不重要的参数的取值上。

**随机搜索。**在你的取值范围内随机采样组合。反直觉的是，同样的预算下它通常胜过网格搜索。原因很锋利：如果真正重要的只有一个超参数，网格搜索只会在这个维度上试到少数几个不同的值（每次训练里其他维度在变，而那些维度不重要），而随机搜索每一次都用不同的值去试它。在真正起作用的那个维度上，你拿到的分辨率高得多。

**引导式搜索。**用已有结果决定下一次试哪里，把样本集中在结果好的区域，而不是盲采。样本效率更高，要跑的机器也更多。单次训练很贵的时候值得。

对大多数工作来说，在真正重要的那两三个超参数上按对数尺度做随机搜索，收益拿走了大半，仪式感却最少。

那个坑：拿测试集调参

这个错误会悄无声息地让结果作废，值得单独开一节。

你需要三份划分，而不是两份——这就是训练/验证/测试集要分开存在的原因。下面是为什么调参让第三份变成不可省的：

• 训练集用来拟合权重。
• 验证集用来挑超参数——你在它上面比较不同配置。
• 测试集用来估计最终表现，而且只能在最后碰一次。

危险很隐蔽。你每按验证集分数选一次超参数，就把一点关于验证集的信息泄进了你的模型选择里。配置跑得够多，你就开始过拟合验证集——挑中的是在那几条具体样本上走运的配置，而不是真正能泛化的那个。你的验证集分数变得乐观了。

全程留出、从未被碰过的测试集，是你的防线。一旦拿它调参，你就再也没有诚实的估计了，上线的那个东西会比你的数字所宣称的更差。这条规矩是绝对的：测试集不是调参信号。

知道什么时候停

调参的收益递减，认出平台期能省下巨大的力气。

**收益来得早。**最初几个像样的选择——一个合理的学习率、大致差不多的正则化——就拿到了改进的大头。为了最后零点几个百分点再跑几百次，通常不如把力气花在更好的数据或更好的模型上。

**更大的杠杆往往在别处。**调参卡住的时候，天花板通常是数据或模型架构，而不是超参数。更多、更干净的数据，稳定胜过在一个固定数据集上做一场英雄式的搜索。

**一开始就把预算定好。**动手之前先决定要花多少次训练，这样搜索是按计划结束，而不是被拖到精疲力尽。开放式调参会膨胀到用满你给它的所有时间。

要点回顾

• 参数从数据里学出来；超参数配置训练过程，只能靠搜。
• 把预算花在那少数几个重要的超参数上——首推学习率——并且按对数尺度搜。
• 同样预算下，随机搜索胜过网格搜索，因为它在有影响的维度上试到更多不同的值。
• 保住三份划分：训练集拟合权重，验证集挑超参数，测试集只碰一次——拿它调参会毁掉你诚实的估计。
• 收益来得早；调参到平台期后，更好的数据或更好的模型通常胜过继续搜。

下一篇： 评测为什么比训练更难