Neural network 瓶颈层的辍学率

通常使用

0.5的辍学率作为默认值，我在完全连接的网络中也使用该值。该建议遵循原退学论文（Hinton at al）中的建议

我的网络由大小完全连接的层组成

[1000、500、100、10、100、500、1000、20]

我不会将退出应用到最后一层。但我把它应用到10号的瓶颈层。鉴于
辍学率=0.5
，这似乎不合理。我想很多信息都丢失了。使用dropout时，是否有处理瓶颈层的经验法则？增加瓶颈的大小还是降低漏出率更好？
增加漏出层是为了防止神经网络中的过度拟合（重新规则化）

首先，退出率在层的输出值中添加噪声，以打破导致过度拟合的偶然模式

这里，0.5的下降率意味着50%的值应下降，这是一个高噪声比，对于瓶颈层来说是一个明确的No

我建议你先训练你的瓶颈层，不要中途退出，然后将其结果与增加中途退出进行比较

选择最能验证测试数据的模型