反向传播：更新第一个权重层

Question

根据 Andrew Ng 关于反向传播的注释 (page 9)，仅计算隐藏层（n-1 到 2）的增量值。然后累积这些增量并用于更新权重矩阵。

然而，注释中没有提到如何更新第一层的权重矩阵。

1. 一般来说，第一层的矩阵是不是永远不会用反向传播更新？
2. 第一层的矩阵有更新过吗？

Answer 1

最后一层中的权重更新方式与更新后续权重层的方式相同：

#Excerpt from my code at github
dW_matrix = -learning_rate * np.dot( delta, input_signals ).T
weight_matrix += dW_matrix

其中delta是在上层计算的delta。

将为图层计算增量：[1, ->]。不需要计算层 0 的增量，因为没有其他层可以向下传播增量。权重始终更新（使用来自上层的增量）。