Neural network 在反向传播算法中加入动量

为了加快学习过程，将动量项添加到权重更新规则中

      W_deltaJI(n) = LR * error(J) * InputIJ + momentum*W_deltaJI(n-1) 

这里,

---

是否需要为每个训练包累积W_deltaJI（n）？

我假设您指的是模式集上的每个训练周期

如果你想做一些有趣的事情，比如动量批量反向传播，那么答案是肯定的。你将累积权重矩阵，并在每个周期结束时应用动量项。这对于庞大而复杂的数据集可能是有效的

---

正常动量项训练每周期动态更新W_deltaJI（n）。因此，为了神经网络学习的目的，你不需要累加。

我假设你指的是模式集上的每个训练周期

如果你想做一些有趣的事情，比如动量批量反向传播，那么答案是肯定的。你将累积权重矩阵，并在每个周期结束时应用动量项。这对于庞大而复杂的数据集可能是有效的

---

正常动量项训练每周期动态更新W_deltaJI（n）。因此，对于神经网络学习而言，您不需要进行积累。

您所说的“数据包”是什么意思？您是否在问是否需要为每个标记的示例计算此错误函数？您所说的“数据包”是什么意思？您是否在问是否需要为每个标记的示例计算此错误函数？那么，在正常情况下（在线更新），n和n-1是什么意思？它们是连续的训练集吗？谢谢n是应用增量的训练步骤。是的，n-1是之前的训练步骤。那么，在正常情况下（在线更新），n和n-1是什么意思？它们是连续的训练集吗？谢谢n是应用增量的训练步骤。因此，n-1是上一个培训步骤。