Fatal编程技术网
  • neural-network/
  • Neural network 神经网络：结合ReLus和批量标准化？

Neural network 神经网络：结合ReLus和批量标准化？

neural-network deep-learning

Neural network 神经网络：结合ReLus和批量标准化？,neural-network,deep-learning,Neural Network,Deep Learning,在中，我被告知应该使用批处理规范化： 一段时间以来，人们都知道NNs在归一化的数据上训练得最好——也就是说，平均值和单位方差为零 我还被告知应该使用ReLu神经元——特别是当输入是图像时。图像的数字通常介于0和1之间或0和255之间 问题：将ReLus与批量规范化相结合是否明智 我可以想象，如果我进行第一批标准化，我担心，一旦信息通过ReLus，可能会丢失信息。如果我的信息只经过一次，那么将批标准化与ReLus结合起来就没有问题了，这通常是毫无问题的。例如，第一篇关于这一点的论文在ImageNe

在中，我被告知应该使用批处理规范化：

一段时间以来，人们都知道NNs在归一化的数据上训练得最好——也就是说，平均值和单位方差为零

我还被告知应该使用ReLu神经元——特别是当输入是图像时。图像的数字通常介于0和1之间或0和255之间

问题：将ReLus与批量规范化相结合是否明智

我可以想象，如果我进行第一批标准化，我担心，一旦信息通过ReLus，可能会丢失信息。如果我的信息只经过一次，那么将批标准化与ReLus结合起来就没有问题了，这通常是毫无问题的。例如，第一篇关于这一点的论文在ImageNet分类中取得了非常好的结果。

将批处理规范化与ReLUs相结合是没有问题的，这通常是毫无问题的。例如，关于的第一篇文章就是这样做的，并且在ImageNet分类中获得了非常好的结果。

可以发布到该论文的链接吗？@Make42 Sure，完成。可以发布到该论文的链接吗？@Make42 Sure，完成。