你怎么知道什么时候应该降低你的学习率？
How do you know when your learning rate should be reduced?
这个问题更像是一个关于如何知道是否应该减少的提示的一般性问题。如果你没有得到好的结果，降低学习率会有帮助吗？
通常，您有起点和终点，以及走下英里的石头。你怎么知道学习率不应该越来越低？ “试一试”可能就是答案。
有一篇论文将学习率等同于复杂性。因此，当模型运行时，需要降低其学习率以构建更复杂的数据模式。
任何见解都会很棒。
谢谢。
当当前设置的学习率无法实现更多改进时，降低学习率通常是有意义的。整个过程也可以自动化。如果你使用 Pytorch，请看这里：https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate
但是一开始找到一个好的学习率很重要。我经常尝试几个时代。如果没有得到好的结果，可能是学习率的问题，但不一定是。它也可能太小或太大。如果损失值波动剧烈，则可能太大，如果不下降太小。
这个问题更像是一个关于如何知道是否应该减少的提示的一般性问题。如果你没有得到好的结果，降低学习率会有帮助吗？
通常，您有起点和终点，以及走下英里的石头。你怎么知道学习率不应该越来越低？ “试一试”可能就是答案。
有一篇论文将学习率等同于复杂性。因此，当模型运行时，需要降低其学习率以构建更复杂的数据模式。
任何见解都会很棒。
谢谢。
当当前设置的学习率无法实现更多改进时，降低学习率通常是有意义的。整个过程也可以自动化。如果你使用 Pytorch，请看这里：https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate
但是一开始找到一个好的学习率很重要。我经常尝试几个时代。如果没有得到好的结果，可能是学习率的问题，但不一定是。它也可能太小或太大。如果损失值波动剧烈，则可能太大，如果不下降太小。