验证 accuracy/loss 是否影响 caffe 中的训练

Question

有一个关于caffe中验证集的简单问题，想知道验证集对训练有没有影响？我知道您使用验证集来检查网络是否过度拟合，据我所知，验证集对权重更新没有影响，但它对选择或修改超参数有某种影响还是仅供用户使用查看和估计网络的学习情况？

Answer 1

不，神经网络在训练期间不会使用验证集的结果来调整任何超参数。在训练期间使用验证集与在某个时间点应用网络来预测验证集的值，然后对它的表现进行评分是一样的。

您可能决定要 运行 多次使用不同的超参数值来训练相同的网络过程。在其完全详尽的形式中，这意味着您将对超参数 space 进行网格搜索，并使用不同网络的许多不同训练课程。在实践中，使用神经网络进行完全详尽的网格搜索并不是一个好主意，因为参数的数量可能非常大。

通常，对于神经网络，您可以一次调整一个参数，直到每个参数都看起来 "about right"。当然，这可能不会为您带来绝对最好的结果，但这是一个不错的第一种方法。