Fatal编程技术网

Machine learning ReLU能处理负输入吗？

machine-learning tensorflow neural-network artificial-intelligence keras

Machine learning ReLU能处理负输入吗？,machine-learning,tensorflow,neural-network,artificial-intelligence,keras,Machine Learning,Tensorflow,Neural Network,Artificial Intelligence,Keras,我正在训练一个神经网络，它的数据是负值和正值 有没有办法将数据输入到ReLU网络，而不将其全部转换为正数，并有一个单独的输入，说明数据是负数还是正数 我看到的问题是，输入层的负输入意味着，除非您将权重初始化为负，否则ReLU节点永远不会被激活，并且永远不存在 我不是100%确定你在问什么，因为有很多激活函数，你可以轻松编写自己的代码。如果您不想自己编写代码，可以尝试一些替代方案： 泄漏的ReLU 参数化ReLU 基本上，看一看 如果您真的对输入层使用了激活函数，我建议您使用另一个激活函数，如

我正在训练一个神经网络，它的数据是负值和正值

有没有办法将数据输入到ReLU网络，而不将其全部转换为正数，并有一个单独的输入，说明数据是负数还是正数

我看到的问题是，输入层的负输入意味着，除非您将权重初始化为负，否则ReLU节点永远不会被激活，并且永远不存在

我不是100%确定你在问什么，因为有很多激活函数，你可以轻松编写自己的代码。如果您不想自己编写代码，可以尝试一些替代方案：

泄漏的ReLU

参数化ReLU

基本上，看一看

如果您真的对输入层使用了激活函数，我建议您使用另一个激活函数，如ELU，或者将数据转换为[0,1]范围。 如果ReLU函数位于某个隐藏层中，则ReLU函数只能暂时失效

假设在前馈网络的最后一个隐藏层中有一个ReLU函数。使用反向传播算法，应该可以改变先前隐藏层的输出，从而最终使ReLU函数的输入再次变为正。那雷卢就不会死了。很可能我在这里遗漏了什么

不管怎么说，你一定要试试埃卢！我用它比用ReLU的效果更好

对不起，不是在输入层，而是在第一层。由于ReLU权重是从较小的正值开始初始化的，这几乎迫使我的ReLU始终输出0。我试着用一个漏水的ReLU，但没用。但我想这是一个单独的问题，因为从概念上讲，泄漏的ReLU应该有效。链接到新问题。。。