Machine learning 学习率、损失和批量大小

Machine learning 学习率、损失和批量大小,machine-learning,optimization,loss,batchsize,learning-rate,Machine Learning,Optimization,Loss,Batchsize,Learning Rate,损失取决于学习速率和批量大小。例如,如果我保持批量大小为4,学习率为.002,则损失不会收敛,但如果将批量大小更改为32,保持学习率不变,则会得到收敛损失曲线。这行吗 我想说,损失在很大程度上取决于你在训练中使用的参数。另一方面,我不会称之为数学函数的依赖关系,而是一种关系 如果您的网络没有学习,则需要调整参数(架构、学习速率、批量大小等) 很难对你的问题给出更具体的答案。哪些参数正常取决于问题。然而,如果它收敛,并且您可以验证您的解决方案,我会说您很好 我想说,损失在很大程度上取决于你在训练中

损失取决于学习速率和批量大小。例如,如果我保持批量大小为4,学习率为.002,则损失不会收敛,但如果将批量大小更改为32,保持学习率不变,则会得到收敛损失曲线。这行吗

我想说,损失在很大程度上取决于你在训练中使用的参数。另一方面,我不会称之为数学函数的依赖关系,而是一种关系

如果您的网络没有学习,则需要调整参数(架构、学习速率、批量大小等)


很难对你的问题给出更具体的答案。哪些参数正常取决于问题。然而,如果它收敛,并且您可以验证您的解决方案,我会说您很好

我想说,损失在很大程度上取决于你在训练中使用的参数。另一方面,我不会称之为数学函数的依赖关系,而是一种关系

如果您的网络没有学习,则需要调整参数(架构、学习速率、批量大小等)

很难对你的问题给出更具体的答案。哪些参数正常取决于问题。然而,如果它收敛,并且您可以验证您的解决方案,我会说您很好