Machine learning 如何在PYLERN2的隐藏层中使用泄漏ReLus作为激活函数

Machine learning 如何在PYLERN2的隐藏层中使用泄漏ReLus作为激活函数,machine-learning,theano,conv-neural-network,pylearn,Machine Learning,Theano,Conv Neural Network,Pylearn,我正在使用Pylern2库设计一个CNN。我想在一层中使用Leaky ReLus作为激活函数。有没有任何可能的方法可以使用pylearn2实现这一点?我必须为它编写一个自定义函数,还是Pyrearn2具有tha的内置函数?如果是,如何编写自定义代码?有人能帮我吗?超级类是一种通用的卷积元素层。在它的子类中,有一个使用类的卷积校正线性层 在应用方法中: 正如温文评论所指出的: 。。。最近引入的Maxout神经元是对ReLU及其泄漏版本的推广 例子是或 在中缺乏答案的原因可能是大部分是由研究人员撰写

我正在使用Pylern2库设计一个CNN。我想在一层中使用Leaky ReLus作为激活函数。有没有任何可能的方法可以使用pylearn2实现这一点?我必须为它编写一个自定义函数,还是Pyrearn2具有tha的内置函数?如果是,如何编写自定义代码?有人能帮我吗?

超级类是一种通用的卷积元素层。在它的子类中,有一个使用类的卷积校正线性层

在应用方法中:

正如温文评论所指出的:

。。。最近引入的Maxout神经元是对ReLU及其泄漏版本的推广

例子是或


在中缺乏答案的原因可能是大部分是由研究人员撰写的,因此,中第13点的阈值可能很高。

这是有效的。谢谢你。是的,在互联网上很难找到关于这个问题的任何信息。我也很难弄清楚PyLearn2的工作原理。我不得不花一些时间阅读源代码。很有启发性,tho。
    p = linear_response * (linear_response > 0.) + self.left_slope *\
        linear_response * (linear_response < 0.)