Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/339.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python Keras,随机梯度下降-参数意味着什么_Python_Parameters_Deep Learning_Keras_Gradient Descent - Fatal编程技术网

Python Keras,随机梯度下降-参数意味着什么

Python Keras,随机梯度下降-参数意味着什么,python,parameters,deep-learning,keras,gradient-descent,Python,Parameters,Deep Learning,Keras,Gradient Descent,我不知道随机梯度下降算法是如何详细工作的,我现在不需要知道这一点。我所知道的是,它通过计算梯度和进入局部极小值的方向来最小化损失函数。但是我在使用Keras的项目中使用随机梯度下降作为优化器,我不知道这个优化器的参数是什么意思。显然,这些参数在文档中有简短的描述,但不够具体,我仍然不理解它们的含义 你能解释一下这4个参数吗 lr: float >= 0. Learning rate. momentum: float >= 0. Parameter that accelerates S

我不知道随机梯度下降算法是如何详细工作的,我现在不需要知道这一点。我所知道的是,它通过计算梯度和进入局部极小值的方向来最小化损失函数。但是我在使用Keras的项目中使用随机梯度下降作为优化器,我不知道这个优化器的参数是什么意思。显然,这些参数在文档中有简短的描述,但不够具体,我仍然不理解它们的含义

你能解释一下这4个参数吗

lr: float >= 0. Learning rate.
momentum: float >= 0. Parameter that accelerates SGD in the relevant direction and dampens oscillations.
decay: float >= 0. Learning rate decay over each update.
nesterov: boolean. Whether to apply Nesterov momentum.

我怎样才能知道应该如何设置它们呢?

学习速率是您朝着最小值迈出的一步。如果你使用一个大的学习率,你就有超过最小学习率的风险。如果你选择它小,它将需要很长时间才能达到最低限度。学习率的良好起点是0.01,然后将其增加到0.03、0.1、0.3等。相反,随着时间的推移,学习率会下降多少。其背后的原因是,在你开始训练时,你可能希望有一个高的学习率,以快速达到最低水平。在这之后,你想要一个较小的学习率,以精确地达到最低


很抱歉,我对另外两个不太了解,虽然我的文字太长,无法作为评论插入

你错了,我现在不需要知道。至少读一读《代码》博图,莱昂。随机梯度下降技巧。简介:神经网络:交易技巧。施普林格,柏林,海德堡,2012年。S.421-436.如果你想以实用的方式学习这个主题,我可以建议你使用Ian Goodfello和Yoshua Bengio的“深度学习”