在神经网络中，偏差项的权重是否在反向传播中得到更新？

Question

在神经网络中，我试图将其编码出来，但卡在了一部分上。偏差项的权重是否在反向传播中得到更新？我在这里遵循算法 http://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/，他们似乎没有更新它，他们为偏差项权重选择了一些任意值。这是否意味着偏置项的输出为 1，其权重不应改变？

Answer 1

一般来说：是的，偏差权重应该更新并包含在训练中，就像 NN 中的任何其他权重一样（也在反向传播中）。

在您发布的示例中，偏置 b1 被添加到隐藏层的两个神经元，偏置 b2 被添加到输出层的两个中子

Hidden layer:
    h1 = i1*w1 + i2*w2 + 1*b1
    h2 = i1*w3 + i2*w4 + 1*b1

Output layer:
    o1 = h1*w5 + h2*w6 + 1*b2
    o2 = i2*w7 + h2*w8 + 1*b2

初始偏差，在本例中为固定偏差

b1 = 0.35
b2 = 0.60

这意味着隐藏中子的偏差始终恰好为 0.35，输出中子的偏差始终恰好为 0.60。然而，这不是通常的做法，因为您想要训练您的神经网络以找到 "good" 偏差，就像您希望它训练以找到好的权重一样。

另请注意，在您提供的 link 的评论中，另一位用户询问为什么偏见没有改变，作者已回复，引用：

"Hey, in the tutorials I went through they didn’t update the bias which is why I didn’t include it here."

缺少特定的 "why" 可能意味着此 example/tutorial 的作者无论多么精通，都不是 NN 主题的专家，因此您不应该过多重量（没有双关语意......）进入快速，在这个特定的例子中偏差没有改变。

如果你真的想在反向传播的背景下深入研究 NN，我宁愿向你推荐 Michael Nielsen 关于 NN 和深度学习的优秀书籍，特别是关于这个主题的第 2 章。注意此处的偏置权重被视为神经元-神经元数据传输的权重。

http://neuralnetworksanddeeplearning.com/chap2.html

Michael 是一名 Google 研究员，在高级 NN 和深度学习领域发表了大量文章。

At the heart of backpropagation is an expression for the partial derivative ∂C/∂w of the cost function C with respect to any weight w (or bias b) in the network. The expression tells us how quickly the cost changes when we change the weights and biases.

在神经网络中，偏差项的权重是否在反向传播中得到更新？

In neural networks, do the weights of bias terms get updated in backpropagation?

neural-network