Machine learning 神经网络不能立即复制？

在前馈神经网络中使用反向传播导数（弹性）进行随机权重初始化时，误差图上的初始位置位于某个随机谷上，该随机谷可能是局部最小值，也可能不是局部最小值。可以使用方法克服局部极小值，但假设没有使用这些方法（或在给定地形上工作不好），则神经网络似乎无法立即重现。也就是说，这里面有点运气

在一个有100万个谷点且只有一个全局最小值的图上，最多需要100万次非重复权重初始化才能找到单个全局最小值（假设每次初始化都将您置于完全不同的谷点）。因此，如果我在全局最小值（解决方案）上遇到收敛，并且意外地失去了权重（数据损坏或其他），我可能不会再次遇到收敛。考虑到这一点，我是否应该在同一数据集上同时运行多个神经网络，然后在达到所需的错误率后停止/保存网络？我知道同时运行多个网络是一种常见的做法，但这似乎使得像这样的半暴力技术成为强制性的。

正确 你确实非常需要把计算出的重量储存在安全的地方。在困难的搜索环境下，您不能保证再次发现相同（可能）的最佳解决方案

多次重新启动 使用随机重启并跟踪当前最佳解决方案是非常常见的

关于神经网络学习的几点看法

---

请参阅好书摘录：

谢谢。我已经阅读了那篇文章和更大作品的其他部分。我真的需要有人给我解释清楚，因为我不确定我应该从调整动量和学习速度中得到多少期望，这有助于解决这些问题。另外，我认为，一些其他形式的backprop，例如resilive，不利用动量或学习速率，而是根据最后一个梯度调整学习速率。似乎没有什么可以替代重新开始。实际上，在最坏的情况下，使用动量会阻止你通过“跳跃”回到搜索空间中的第四位而达到全局最小值！建议将学习率初始化为一个较低的值，以避免此问题-代价是学习速度较慢（并且可能无法逃脱局部最优）。弹性反向传播是处理“困难”搜索空间的更好方法。看这个。