Machine learning 应在何处插入辍学者。?完全连接层。?卷积层。?或者两者兼而有之。?

Machine learning 应在何处插入辍学者。?完全连接层。?卷积层。?或者两者兼而有之。?,machine-learning,tensorflow,keras,artificial-intelligence,Machine Learning,Tensorflow,Keras,Artificial Intelligence,我想了解您对应该在哪里插入辍学者的反馈意见 它应该位于完全连接的层(密集层)还是卷积层。?或者两者兼而有之 提前感谢您的反馈。退出只是一种用于防止网络中过度拟合的正则化技术。它在训练期间以给定的概率将节点的权重设置为零,从而减少每次迭代训练所需的权重数量。它可以应用于网络的每一层(无论它是完全连接的还是卷积的),或者在选定的层之后。对哪一层应用“退出”实际上只是一个设计决策,以决定什么可以产生最佳性能。通常,将“退出”放置在完全连接的层上,只是因为它们是参数数量较多的层,因此它们可能会过度自适配

我想了解您对应该在哪里插入
辍学者的反馈意见

它应该位于完全连接的层(密集层)还是卷积层。?或者两者兼而有之


提前感谢您的反馈。

退出只是一种用于防止网络中过度拟合的正则化技术。它在训练期间以给定的概率将节点的权重设置为零,从而减少每次迭代训练所需的权重数量。它可以应用于网络的每一层(无论它是完全连接的还是卷积的),或者在选定的层之后。对哪一层应用“退出”实际上只是一个设计决策,以决定什么可以产生最佳性能。

通常,将“退出”放置在完全连接的层上,只是因为它们是参数数量较多的层,因此它们可能会过度自适配,从而导致过度拟合

但是,由于它是一种随机正则化技术,因此您可以将它放在任何地方。通常,它被放置在具有大量参数的层上,但没有人会拒绝您将其应用于卷积层(相对于fc层,卷积层的参数数量较少)

此外,应该根据您想要的正则化的影响来更改丢弃概率

经验法则是,当辍学应用于完全连接的层时,将保留概率(1-辍学概率)设置为0.5,而当应用于卷积层时,将其设置为更大的数字(通常为0.8、0.9)

请注意:因为在每一个机器学习框架中,辍学都是在其“反向”版本中实现的,所以您应该降低您的学习率,以克服辍学概率给学习率带来的“提升”。
关于它的更全面的评估:

你可以选择你想把辍学学生放在哪里。我通常在后卷积中使用,但也可以在FC层中使用。尝试不同的组合以获得最佳效果

非常感谢,我已经阅读了你发送的链接。我要试试那个问题。两层的分布。它可以在输出层之前的fc层上使用吗?非常感谢您非常感谢卷积层的内核具有多个权重(例如:3x3=9)。这些重物中哪一个掉下来了?所有的东西都一次掉下来吗?或者仅仅将其中一个设置为零?