Machine learning 我们可以通过将BatchNorm与PReLU一起使用来提高性能吗？_Machine Learning_Tensorflow_Deep Learning_Caffe

Machine learning 我们可以通过将BatchNorm与PReLU一起使用来提高性能吗？

machine-learning tensorflow deep-learning

Machine learning 我们可以通过将BatchNorm与PReLU一起使用来提高性能吗？,machine-learning,tensorflow,deep-learning,caffe,Machine Learning,Tensorflow,Deep Learning,Caffe,我有一个网络如下 BN-Scale-ReLU 我想用PReLU替换ReLU。那就是 BN-Scale-PReLU 在第二个设置中我可以获得任何增益吗？为什么？在我搜索时，第二种设置并不流行。在一些论文中，他们取代了BN标尺ReLU=PReLU。是这样吗有一篇评估这些选择的论文，可以在这里找到：。通过使用PReLU，它们确实获得了更好的精度，但这是非常小的。我不确定这种改进是否抵消了您必须使用PReLU而不是ReLU来完成的更高工作量。问题是你是否已经评估了最后一个百分点的准确度？如果没有，

我有一个网络如下

BN-Scale-ReLU

我想用PReLU替换ReLU。那就是

BN-Scale-PReLU

在第二个设置中我可以获得任何增益吗？为什么？在我搜索时，第二种设置并不流行。在一些论文中，他们取代了BN标尺ReLU=PReLU。是这样吗

有一篇评估这些选择的论文，可以在这里找到：。通过使用PReLU，它们确实获得了更好的精度，但这是非常小的。我不确定这种改进是否抵消了您必须使用PReLU而不是ReLU来完成的更高工作量。问题是你是否已经评估了最后一个百分点的准确度？如果没有，请不要为对模型性能影响较小的选择而烦恼。

您看过比例指数线性单位“SeLU”吗。似乎PReLU是在BN之前引入的，当BN流行起来时，PReLU就成为了多余的。这是非常新的。谢谢你的建议。对于第二点，您的意思是BN Scale PReLU应该是PReLU。是这样吗？