自动选择超参数
Choosing hyperparameters automatically
我正在研究神经网络和正则化。我注意到有很多超参数需要手动设置，具体取决于您要解决的问题类型、您正在处理的数据集等。
我想知道是否有一种方法可以创建另一个优化模型，以便它自动找到训练所需的最佳超参数？我的意思是，我们能够通过梯度下降或其他方法找到合适的权重。那么，如果我们能够在超参数上找到某种成本函数，我们是否也能做到这一点？基本上就像一个人工智能程序调整我们的人工智能模型。
这样的事情是否可能，或者至少是一个有效的问题？也许这已经在一些我不知道的研究中完成了？
是的，有可用的框架可以自动为您调整超参数。我在 Optuna 团队，Optuna (optuna.org) 就是这样一个框架，它会进行贝叶斯优化来为您调整超参数。它可以与任何 python 可以用损失或准确输出编写的程序一起工作。
您可以探索一些软件包。我建议你使用 talos。
请在下面找到 link：
最后你会找到 talos 的代码
我正在研究神经网络和正则化。我注意到有很多超参数需要手动设置，具体取决于您要解决的问题类型、您正在处理的数据集等。
我想知道是否有一种方法可以创建另一个优化模型，以便它自动找到训练所需的最佳超参数？我的意思是，我们能够通过梯度下降或其他方法找到合适的权重。那么，如果我们能够在超参数上找到某种成本函数，我们是否也能做到这一点？基本上就像一个人工智能程序调整我们的人工智能模型。
这样的事情是否可能，或者至少是一个有效的问题？也许这已经在一些我不知道的研究中完成了？
是的，有可用的框架可以自动为您调整超参数。我在 Optuna 团队，Optuna (optuna.org) 就是这样一个框架，它会进行贝叶斯优化来为您调整超参数。它可以与任何 python 可以用损失或准确输出编写的程序一起工作。
您可以探索一些软件包。我建议你使用 talos。 请在下面找到 link：
最后你会找到 talos 的代码