Neural network 深度学习的最佳实践是在各层中使用相同的激活_Neural Network_Deep Learning_Conv Neural Network

Neural network 深度学习的最佳实践是在各层中使用相同的激活

neural-network deep-learning

Neural network 深度学习的最佳实践是在各层中使用相同的激活,neural-network,deep-learning,conv-neural-network,Neural Network,Deep Learning,Conv Neural Network,在深度学习中是否有任何规则或最佳实践，以在整个层中使用相同的激活功能？预期输出层可能会使用相同的激活功能例如，如果我在一个层中使用ReLu，是否有任何规则或最佳实践在整个网络中使用ReLu，或者我可以使用Tan或任何其他激活功能？一般来说，ReLu可以使您的网络训练更快收敛。另见此。因此，如果没有其他注意事项，您可能希望在所有层中坚持ReLU激活

在深度学习中是否有任何规则或最佳实践，以在整个层中使用相同的激活功能？预期输出层可能会使用相同的激活功能

例如，如果我在一个层中使用ReLu，是否有任何规则或最佳实践在整个网络中使用ReLu，或者我可以使用Tan或任何其他激活功能？

一般来说，ReLu可以使您的网络训练更快收敛。另见此。因此，如果没有其他注意事项，您可能希望在所有层中坚持ReLU激活