Neural network “应该体验哪些层次”；“辍学”；什么时候训练神经网络？
我有一个多层网络，具有ReLU隐藏的层激活和乙状结肠输出层激活。我想实现辍学（每个神经元在训练期间都有机会输出零） 我在想，我可以在训练期间将这种噪声作为ReLU激活程序的一部分引入，然后再处理它，但我不确定，原则上，辍学是否会扩展到可见/输出层Neural network “应该体验哪些层次”；“辍学”；什么时候训练神经网络？,neural-network,Neural Network,我有一个多层网络，具有ReLU隐藏的层激活和乙状结肠输出层激活。我想实现辍学（每个神经元在训练期间都有机会输出零） 我在想，我可以在训练期间将这种噪声作为ReLU激活程序的一部分引入，然后再处理它，但我不确定，原则上，辍学是否会扩展到可见/输出层 （在我看来，辍学消除了过度拟合，因为它有效地使网络成为许多较小网络的平均值。我只是不确定输出层）是的，你是对的-你不应该将辍学应用于输出层。直观地说，这种噪声的引入使得网络的输出很可能独立于网络的结构。无论在隐藏层中进行什么类型的计算，具有一定概率的
（在我看来，辍学消除了过度拟合，因为它有效地使网络成为许多较小网络的平均值。我只是不确定输出层）是的，你是对的-你不应该将辍学应用于输出层。直观地说，这种噪声的引入使得网络的输出很可能独立于网络的结构。无论在隐藏层中进行什么类型的计算，具有一定概率的输出可能与它们无关。这与建模的理念完全相反