更新反向传播算法中的权重
Updating weights in backpropagation algorithm
我想我已经理解了反向传播算法的每一步,但最重要的一步。权重如何更新?就像本教程的结尾一样? http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
权重更新是通过您提供的页面最后部分 (Backpropagation) 中编写的方程式完成的。
让我详细说明一下:
新权重 = 旧权重 - learning-rate x 损失函数的偏导数 w.r.t。参数
对于给定的权重,计算 (这可以通过反向传播误差轻松完成)它只是函数的最陡方向并减去它的缩放版本,比例因子是步长或你想在那个方向上迈出多大的步。
在查看了您提出问题的方式后,我觉得您可能需要做一点说明 ...
Back-propagation到底是什么?
反向传播只是一种快速评估损失函数偏导数的技巧w.r.t。所有重量。它与权重更新无关。更新权重是梯度下降算法的一部分。
我想我已经理解了反向传播算法的每一步,但最重要的一步。权重如何更新?就像本教程的结尾一样? http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
权重更新是通过您提供的页面最后部分 (Backpropagation) 中编写的方程式完成的。 让我详细说明一下:
新权重 = 旧权重 - learning-rate x 损失函数的偏导数 w.r.t。参数
对于给定的权重,计算
Back-propagation到底是什么?
反向传播只是一种快速评估损失函数偏导数的技巧w.r.t。所有重量。它与权重更新无关。更新权重是梯度下降算法的一部分。