Machine learning α-LMS&x202C；算法退避问题

我正在使用α-LMS算法为MNIST数据集制作分类器

我仅在预测输出与期望输出不匹配时更新权重，以下是权重的更新方式：

我希望在每次迭代中剩余误差会下降（精度会上升）（我不应该吗？）

虽然总体精度似乎在上升，但在某些迭代中，算法会倒退

---

我需要知道在这个算法中发生挫折是否正常，以及原因是什么？

如果数据可以用公式表示，那么找到这个公式是可行的。

---

当需要算法（无公式）时，收敛速度和精度在很大程度上取决于数据。如果您能够使用多个数据集，您将看到不同的图表。

那么您是说这种行为并非意外？这意味着，尽管我们在每次迭代中都会有一组更好的权重，但最终结果可能会更糟？根据数据，每次迭代可能会更糟或更好。通常情况下会更好。想一想：你，一个人，可能会犯一些错误，在手写时用“o”而不是“a”。