Neural network Caffe CNN：conv层内过滤器的多样性

我有以下关于CNN中conv层的理论问题。想象一个具有6个过滤器的conv层（图中的conv1层及其6个过滤器）

1） 什么保证了conv层中学习的过滤器的多样性？（我的意思是，学习（优化过程）如何确保它不会学习相同（类似）的过滤器

2） conv层中的过滤器多样性是一件好事还是坏事？这方面有研究吗

3） 在学习（优化过程）期间，同一层的过滤器之间是否存在任何交互？如果是，如何进行

1。 假设您正在使用SGD（或类似的backprop变体）训练网络，权重初始化为random这一事实鼓励它们多样化，因为每个不同随机过滤器的梯度w.r.t损失通常不同，梯度将“拉动”不同方向的权重会产生不同的过滤器

然而，没有任何东西可以保证多样性。事实上，有时过滤器会相互绑定（请参阅和其中的引用）或降至零

2. 当然，您希望过滤器尽可能多样化，以捕获数据的各种不同方面。假设您的第一层只有响应垂直边的过滤器，您的网络将如何处理包含水平边（或其他类型的纹理）的类？
此外，如果您有几个相同的过滤器，为什么要计算相同的响应两次？这是非常低效的

3. 使用“开箱即用”优化器，每层的学习滤波器彼此独立（梯度线性）。但是，可以使用更复杂的损失函数/正则化方法使其相互依赖。

---

例如，使用组套索正则化，可以强制某些过滤器归零，同时保持其他过滤器的信息量。

所以基本上随机初始化是多样性的主要来源（在层内），对吗？@Nima是的，除非你明确地在丢失/正则化中添加“多样性”组件。@Nima今天有很多问题。。。你正在考试中吗：D？是否有关于多样性的评论/好的参考（CNN）？