Optimization Keras中是否有Adam optimizer的动量选项？

问题说明了一切。由于Adam在大多数数据集上表现良好，我想尝试为Adam optimizer进行动量调优。到目前为止，我只在Keras中找到了SGD的动量选项

简短回答：否，既不在也不在[编辑：请参阅最后的更新]

长答案：正如评论中已经提到的，亚当已经融入了一些类似动量的东西。以下是一些相关的佐证：

从强烈推荐的（也可通过以下方式获得）：

除了像Adadelta和RMSprop一样存储过去平方梯度u[t]的指数衰减平均值外，Adam还保持过去梯度m[t]的指数衰减平均值，类似于动量

发件人：

Adam是最近提出的一个更新，看起来有点像带有动量的RMSProp

请注意，有些框架实际上包含了Adam的

momentum

参数，但这实际上是

beta1

参数；这是：

动量（浮动，列表，动量计划的输出（））–动量计划。请注意，这是Adam文件中的beta1参数。有关更多信息，请参阅

尽管如此，ICLR 2016年的一篇论文标题为，以及作者在Tensorflow中的一篇文章，但无法对此发表任何意见

更新：根据上述ICLR 2016论文，Keras现在确实包括一个名为

Nadam

的优化器；从：

就像亚当本质上是有动量的RMSprop一样，纳达姆也是有内斯特罗夫动量的亚当RMSprop

---

它也是Tensorflow中的一个贡献模块。

从概念上讲，Adam已经有了类似动量的东西。加上外层动量，我不再称之为亚当（不清楚这是否是个好主意；可能不是）。