Deep learning 神经隐藏层中的单位能捕捉到相同的特征吗？

在神经网络中，定义了输入层、隐藏层和输出层三个主要部分。我们为隐藏层提供相同的输入，所以我们可以在隐藏层中获得相同的单位。例如，我们给狗图片作为输入，我们的隐藏层捕捉狗的身体部位。我想知道的是，他们有没有可能用两个单位的隐藏层捕捉到和眼睛一样的身体部位

---

我知道输入是相同的，但我们初始化权重的方式不同。因此，发生这种情况的可能性很低。但是，我很好奇的是，它们是否有可能发生这种情况，可以将隐藏层的单位相互依赖

从理论上讲，可能有两个或多个单元拾取输入的同一特征；然而，如果网络设计良好，在实践中就不应该发生这种情况。例如，随机初始化是缓解此问题的一种方法

就损失函数的影响而言，如果一个神经元学习了一个特定的特征，那么优化器将不会返回任何信息来更新倾斜相同特征的另一个神经元的权重，因为它不会最小化总体损失函数。优化器不会两次学习一个特性，如果这种情况发生（在设计良好的网络中通常不会发生），那么再次学习它将不会最小化成本函数，这一事实证明了这一点

根据以上所有解释，不能保证你提到的情况不会发生