Machine learning 如何定义神经网络中的坏学习率?

Machine learning 如何定义神经网络中的坏学习率?,machine-learning,neural-network,supervised-learning,Machine Learning,Neural Network,Supervised Learning,我试图对神经网络中的不良学习率定义如下: 神经网络中的不良学习率是指当您指定的学习率过低或过高时,如果学习率过低,则网络将花费太多时间进行训练,但是如果学习率过高,则网络将变化太快,从而可能导致输出 任何建议都将不胜感激 我认为有效的学习率α取决于数据。关于学习效率低下的问题,你提到的几点是绝对正确的。因此,没有选择alpha的硬性规定。让我列举一下在决定alpha时所采取的步骤: 显然,您需要一个大的alpha,以便您的模型能够快速学习 还要注意的是,大阿尔法可能会导致超过最小值,因此你的假设

我试图对神经网络中的不良学习率定义如下:

神经网络中的不良学习率是指当您指定的学习率过低或过高时,如果学习率过低,则网络将花费太多时间进行训练,但是如果学习率过高,则网络将变化太快,从而可能导致输出


任何建议都将不胜感激

我认为有效的学习率α取决于数据。关于学习效率低下的问题,你提到的几点是绝对正确的。因此,没有选择alpha的硬性规定。让我列举一下在决定alpha时所采取的步骤:

显然,您需要一个大的alpha,以便您的模型能够快速学习 还要注意的是,大阿尔法可能会导致超过最小值,因此你的假设不会收敛 为了解决这个问题,你可以进行学习速率衰减。当你接近极小值时,这会降低你的学习速度,减慢学习速度,这样你的模型就不会超调。 有两种方法可以做到这一点:

阶跃衰减 指数衰减 线性衰减
您可以选择其中一个,然后训练您的模型。话虽如此,我还是要指出,在你获得最佳结果之前,这需要你方的反复尝试。

请在否决票上提供意见,谢谢