为什么逻辑回归的权重参数会初始化为零？
Why do weight parameters of logistic regression get initialized to zeros?
我看到神经网络的权重被初始化为随机数，所以我很好奇为什么逻辑回归的权重被初始化为零？
在神经网络的情况下，每一层都有 n 个神经元。因此，如果您将每个神经元的权重初始化为 0，那么在反向传播之后，它们中的每一个都将具有相同的权重：
无论你迭代多长时间，第一层的神经元 a1 和 a2 都将具有相同的权重。因为他们计算的是同一个函数。
逻辑回归不是这种情况，它只是 y = Wx + b。
这是否意味着权重初始化为零的神经网络与普通逻辑回归或具有计算 WX+b 的单个单元的神经网络一样好？
我觉得上面的回答有点误导。实际上，sigmoid 函数，也称为 logit 函数，由于其特殊的性质，一直被用于逻辑回归。
例如，
（对不起，丑陋的公式）。其对应的函数如下所示：
因此，零确保值始终位于线性区域，使传播更容易。
如果所有权重都初始化为零，反向传播将不会按预期工作，因为中间神经元和起始神经元的梯度会消失（变为零）并且永远不会更新。
原因是，在 NN 的反向传递中，某个中间神经元的梯度乘以从该神经元到下一层神经元的传出边的权重，该权重将为零，因此该中间节点的梯度将为也为零。随后所有的权重永远不会提高，模型最终只会纠正直接连接到输出神经元的权重。
我看到神经网络的权重被初始化为随机数，所以我很好奇为什么逻辑回归的权重被初始化为零？
在神经网络的情况下，每一层都有 n 个神经元。因此，如果您将每个神经元的权重初始化为 0，那么在反向传播之后，它们中的每一个都将具有相同的权重：
无论你迭代多长时间，第一层的神经元 a1 和 a2 都将具有相同的权重。因为他们计算的是同一个函数。
逻辑回归不是这种情况，它只是 y = Wx + b。
这是否意味着权重初始化为零的神经网络与普通逻辑回归或具有计算 WX+b 的单个单元的神经网络一样好？
我觉得上面的回答有点误导。实际上，sigmoid 函数，也称为 logit 函数，由于其特殊的性质，一直被用于逻辑回归。 例如，
（对不起，丑陋的公式）。其对应的函数如下所示：
如果所有权重都初始化为零，反向传播将不会按预期工作，因为中间神经元和起始神经元的梯度会消失（变为零）并且永远不会更新。 原因是，在 NN 的反向传递中，某个中间神经元的梯度乘以从该神经元到下一层神经元的传出边的权重，该权重将为零，因此该中间节点的梯度将为也为零。随后所有的权重永远不会提高，模型最终只会纠正直接连接到输出神经元的权重。