keras中的梯度剪裁

keras中的梯度剪裁,keras,rnn,Keras,Rnn,我有一个使用Keras的完全实现的lstmrnn,我想使用梯度裁剪,梯度范数限制为5(我试图复制一篇研究论文)。对于实现神经网络,我是一个初学者,我将如何实现它 只是(我使用的是rmsprop优化器): 根据,任何优化器都可以有可选参数clipnorm和clipvalue。如果提供了clipnorm,则当梯度范数超过阈值时,将剪裁梯度。此问题的准确答案将是“是的,这就是您的操作方式”。你试过了吗?它不起作用吗?您是否遇到此代码的任何问题? sgd = optimizers.rmsprop(lr

我有一个使用Keras的完全实现的lstmrnn,我想使用梯度裁剪,梯度范数限制为5(我试图复制一篇研究论文)。对于实现神经网络,我是一个初学者,我将如何实现它

只是(我使用的是rmsprop优化器):


根据,任何优化器都可以有可选参数
clipnorm
clipvalue
。如果提供了
clipnorm
,则当梯度范数超过阈值时,将剪裁梯度。

此问题的准确答案将是“是的,这就是您的操作方式”。你试过了吗?它不起作用吗?您是否遇到此代码的任何问题?
 sgd = optimizers.rmsprop(lr=0.01, clipnorm=5)

 model.compile(optimizer=sgd,
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])