Parameters 为什么logistic回归的权重参数被初始化为零？

我见过神经网络的权值初始化为随机数，所以我很好奇为什么逻辑回归的权值初始化为零？

如果神经网络的每一层都有n个神经元。所以，如果你用0初始化每个神经元的权重，那么在反向传播之后，每个神经元都将具有相同的权重：

无论迭代多长时间，第一层中的神经元a1和a2都将具有相同的权重。因为他们在计算同一个函数

---

logistic回归的情况并非如此，它只是y=Wx+b。

这是否意味着权重初始化为零的神经网络与普通logistic回归一样好，或者说是一个单单位计算Wx+b的神经网络？

我认为上述答案有点误导。实际上，sigmoid函数，也称为logit函数，由于其特殊的性质，在logistic回归中经常被使用。 比如说,

（很抱歉这个丑陋的公式）。其相应功能如下所示：

---

因此，零确保值始终位于线性区域，从而使传播更容易。

如果所有权重都初始化为零，则反向传播将无法按预期工作，因为中间神经元和起始神经元的梯度将消失（变为零），并且永远不会更新。

---

原因是，在神经网络的反向传递中，某个中间神经元的梯度乘以从该神经元到下一层神经元的输出边的权重，该权重为零，因此该中间节点的梯度也为零。随后，所有权重将永远不会改善，模型最终只会纠正直接连接到输出神经元的权重。

这是否意味着NN没有增加偏差，因此它将始终保持不变？但逻辑回归不是这样吗？这是不正确的，因为你正在使用某种激活函数（sigmoid，tanh，等等），它会给你非线性。我想如果你把所有的权重初始化为零，那么每一层都会有一个神经元，因为每一层中所有神经元的权重都是相同的。