Neural network 是否存在使用乙状结肠激活优于ReLu的情况

我正在训练一个复杂的神经网络架构，我使用RNN对输入进行编码，然后是一个带有softmax输出层的深层神经网络

我现在正在优化我的体系结构深层神经网络部分（单元数和隐藏层数）

我目前使用的所有层乙状结肠激活。对于少数隐藏层来说，这似乎是可以的，但随着层数的增加，似乎sigmoid不是最佳选择

你认为我应该先对sigmoid进行超参数优化，然后再对ReLu进行优化，还是直接使用ReLu更好

---

此外，鉴于我有一个softmax输出，您认为在第一个隐藏层中使用Relu，在最后一个隐藏层中使用sigmoid有意义吗。

您不能独立优化超参数，不。因为最终的最佳解决方案恰好是X层和Y节点，这并不意味着所有的激活功能、调节策略、学习率等都是如此。这就是优化参数的难点所在。这也是为什么有超参数优化库的原因。我建议你从阅读“随机搜索优化”的概念开始

谢谢。实际上，我正在使用粒子群优化算法进行搜索。我只是想凭直觉缩小搜索范围。