Machine learning tensorflow中的RMSProp优化器是否使用Nesterov动量？_Machine Learning_Tensorflow_Deep Learning

Machine learning tensorflow中的RMSProp优化器是否使用Nesterov动量？

machine-learning tensorflow deep-learning

Machine learning tensorflow中的RMSProp优化器是否使用Nesterov动量？,machine-learning,tensorflow,deep-learning,Machine Learning,Tensorflow,Deep Learning,当您创建RMSPRop优化器时，它会请求动量值。这种势头是什么？是内斯特罗夫还是另一个？如何在tf中使用Nesterov动量和RMSProp 这里的单据字符串中有一个公式：有人能解释一下g_t是什么意思吗？这个公式是在哪里计算的据我所知，在Nesterov momentum+rmsprop中，首先用当前动量改变权重，计算新的梯度，除以sqrt（均方+ε），然后加上动量。这就是这里发生的事吗？我无法找到training_ops.apply_rms_prop的实现，因为我对tf源不太熟悉我来

当您创建RMSPRop优化器时，它会请求动量值。这种势头是什么？是内斯特罗夫还是另一个？如何在tf中使用Nesterov动量和RMSProp

这里的单据字符串中有一个公式：

有人能解释一下g_t是什么意思吗？这个公式是在哪里计算的

据我所知，在Nesterov momentum+rmsprop中，首先用当前动量改变权重，计算新的梯度，除以sqrt（均方+ε），然后加上动量。这就是这里发生的事吗？我无法找到training_ops.apply_rms_prop的实现，因为我对tf源不太熟悉

我来自coursera Geoffrey Hinton关于神经网络的课程，这里解释了Nesterov动量+rmsprop算法。我如何在tf中使用它

如果我对内斯特罗夫动量或其他任何东西的理解有误，请纠正我

您提到的文档明确提到：

RMSProp的这种实现使用普通动量，而不是Nesterov动量

AFAIK在RMSProp中没有内置的Nesterov momentum实现。当然，您可以根据自己的需要调整功能

正如@xolodec所说，

g\t

是梯度

g_t

和

gradient

这两者完全是一样的。这是关于参数的代价函数的导数。@xolodec谢谢！您知道一个计算所有（来自文档字符串的公式）的地方吗？也许到时候我会知道这是不是内斯特罗夫动量，这可能就是你要问的地方。@xolodec wohoo。是的，那正是我想要的，谢谢。

mean_square = decay * mean_square{t-1} + (1-decay) * gradient ** 2
mom = momentum * mom{t-1} + learning_rate * g_t / sqrt(mean_square + epsilon)
delta = - mom