Artificial intelligence 在席尔瓦和阿尔梅达'；s反向传播算法？

Silva和Almeida的算法改进了现有的反向传播算法，为每个权重引入了单独的自适应学习率。新学习率的值计算如下：

我读到常数

u

和

d

被设置为

u>1

和

d<1

。这些约束条件相当广泛，因此是否有设置这些值的一般准则，或者我是否必须通过实验来解决我的具体问题？

我读到，适合大多数问题的良好“起始”值是尝试u=1.2和d=0.8，但我现在找不到来源

编辑：

---

还请注意关于如何通过引入动量项改进算法的评论，如果您还没有动量项…

谢谢！太好了！是的，我已经实现了动力。