Machine learning Maxout神经元：Maxout函数中的权重是否指2组唯一的权重？

我不明白maxout是如何工作的，我怀疑这是由于我对线性代数乘法的想象。基本上，我的印象是maxout函数有两组权重，都是单独训练的，然后只选择一组。但我怀疑这可能是错误的，因为我看不到在网络的一个前馈运行中同时训练两个不同权重的方法

此外，如果函数中的两个权重w1和w2没有引用两个唯一的权重集，那么maxout函数是否可以输入两个以上的参数，并且只选择max

下面是我读到的maxout函数：

最大值（（w1.T.dot（X）+b1），（w2.T.dot（X）+b2））

---

有没有一种心理表征可以让我更好地想象这个问题？

我知道这已经晚了，但我还是要回答。 您可以查看maxout networks作者Ian Goodfello的视频，这是视频中使用的幻灯片的URL

以下是Maxout网络定义的屏幕截图：

---

结果证明你是绝对正确的。对于每个神经元，创建两次权重和两次偏差。如果你想要更多，那么你可以为每个神经元创建n个权重和n个偏差，然后用最大值进行选择，然后对层中的所有神经元执行相同的操作。

我知道这已经晚了，但我还是要回答。 您可以查看maxout networks作者Ian Goodfello的视频，这是视频中使用的幻灯片的URL

以下是Maxout网络定义的屏幕截图：

---

结果证明你是绝对正确的。对于每个神经元，创建两次权重和两次偏差。如果你想要更多，那么你可以为每个神经元创建n个权重和n个偏差，然后用最大值进行选择，并对层中的所有神经元执行相同的操作。

你可以尝试Danielle Ensign的神经激活函数恒星摘要，其中包括对MaxOut的长期讨论。当我看到你的帖子时，我正在寻找更多的信息和一种没有“亚神经元”的方法来实现它，所以这可能不是你（和我）困境的完整解决方案。也请看一看。在阅读了Dougal的解释之后，我怀疑我会发现使用两个不同层的神经元之间的多重连接来建模更容易。例如，你可以为每对神经元使用k个连接数，这意味着你要计算任意一对神经元的k个激活，取最大值。如果需要单独的偏差，这可能不起作用。我还没来得及检查这个解决方案，因为我现在正试图解决几乎相同的问题。你可以试试Danielle Ensign的神经激活函数恒星摘要，其中包括对MaxOut的长期讨论。当我看到你的帖子时，我正在寻找更多的信息和一种没有“亚神经元”的方法来实现它，所以这可能不是你（和我）困境的完整解决方案。也请看一看。在阅读了Dougal的解释之后，我怀疑我会发现使用两个不同层的神经元之间的多重连接来建模更容易。例如，你可以为每对神经元使用k个连接数，这意味着你要计算任意一对神经元的k个激活，取最大值。如果需要单独的偏差，这可能不起作用。我还没有时间检查这个解决方案，因为我现在正试图解决几乎相同的问题。