Tensorflow 降低了保存模型的学习率
Tensorflow reducing learning rates of saved model
我正在研究具有 4 个转换层和 3 个密集层的 cnn 模型。数据集有大约 28000 张图像和 7000 张测试图像。该模型保存了检查点，我已经对其进行了多次训练，到目前为止达到了 60% 的准确率，同时训练学习率降低到 2.6214403e-07（因为我使用了 ReduceLROnPlateau 因子 0.4）。我有疑问，如果我提高学习率说 1e-4。并恢复训练它将如何影响我的模型？这是个好主意吗？
accuracy vs epoch
如果您的学习曲线立即停滞并且在最初的几个阶段后变化不大（如您的情况），那么您的学习率太低了。虽然您可以以更高的学习率恢复训练，但它可能会使初始阶段的任何进展变得毫无意义。由于您通常只会 降低 时期之间的学习率，并且考虑到您的网络的初始进展缓慢，您应该简单地重新训练 增加 初始学习率，直到您在前几个时期看到更大的变化。然后，您可以通过每当发生过度拟合（测试精度下降而训练精度上升）来确定收敛点并停在那里。如果这一点仍然“不必要地迟到”，您可以额外减少学习率衰减的量，以在 epoch 之间取得更快的进展。
我正在研究具有 4 个转换层和 3 个密集层的 cnn 模型。数据集有大约 28000 张图像和 7000 张测试图像。该模型保存了检查点，我已经对其进行了多次训练，到目前为止达到了 60% 的准确率，同时训练学习率降低到 2.6214403e-07（因为我使用了 ReduceLROnPlateau 因子 0.4）。我有疑问，如果我提高学习率说 1e-4。并恢复训练它将如何影响我的模型？这是个好主意吗？
accuracy vs epoch
如果您的学习曲线立即停滞并且在最初的几个阶段后变化不大（如您的情况），那么您的学习率太低了。虽然您可以以更高的学习率恢复训练，但它可能会使初始阶段的任何进展变得毫无意义。由于您通常只会 降低 时期之间的学习率，并且考虑到您的网络的初始进展缓慢，您应该简单地重新训练 增加 初始学习率，直到您在前几个时期看到更大的变化。然后，您可以通过每当发生过度拟合（测试精度下降而训练精度上升）来确定收敛点并停在那里。如果这一点仍然“不必要地迟到”，您可以额外减少学习率衰减的量，以在 epoch 之间取得更快的进展。