最佳神经网络优化算法
best neural network optimization algorithms
我正在寻找神经网络优化中的 4 个最佳算法。我需要名称和任何描述，学习方法和拓扑对我很有帮助。
我认为多层感知器 (MLP) 是其中之一，但我不确定。
谢谢大家
你的问题真的很广泛。很难回答，因为不同的优化器各有优缺点。我想说，在当今最好的优化器中，您会发现 ADAM、RMSPROP、ADAGRAD 和具有 Nestov 动量的 SGD。您可以阅读这些方法（以及其他方法）here。
首先，我同意这个问题确实太宽泛了，但是，我想补充一些我个人认为对帮助我回答这个问题有用的资源。在这样做的过程中，我希望这些资源能像帮助我一样帮助其他人。他们在这里：
- Sebastian Ruder Mod 于曾的blog post。
- Anish Singh Walia 的讨论 on this topic。
- Chapter 8 由 Yoshua Bengio 和 Aaron Courville 合着的《深度学习》一书。
- This post 来自 Adrian Colyer 的晨报。
希望对大家有所帮助。
我正在寻找神经网络优化中的 4 个最佳算法。我需要名称和任何描述，学习方法和拓扑对我很有帮助。 我认为多层感知器 (MLP) 是其中之一，但我不确定。
谢谢大家
你的问题真的很广泛。很难回答，因为不同的优化器各有优缺点。我想说，在当今最好的优化器中，您会发现 ADAM、RMSPROP、ADAGRAD 和具有 Nestov 动量的 SGD。您可以阅读这些方法（以及其他方法）here。
首先，我同意这个问题确实太宽泛了，但是，我想补充一些我个人认为对帮助我回答这个问题有用的资源。在这样做的过程中，我希望这些资源能像帮助我一样帮助其他人。他们在这里：
- Sebastian Ruder Mod 于曾的blog post。
- Anish Singh Walia 的讨论 on this topic。
- Chapter 8 由 Yoshua Bengio 和 Aaron Courville 合着的《深度学习》一书。
- This post 来自 Adrian Colyer 的晨报。
希望对大家有所帮助。