Optimization 随机爬山与随机重启爬山算法

随机爬山和随机重新爬山有什么区别？

随机爬山： 这意味着我们不会总是按照梯度的方向（最大化/最小化目标函数的步骤）采取步骤，算法不会选择概率为1的最佳步骤，但当prob小于1时，它会选择随机方向，因此，它有时可以朝相反的方向迈出一步，以避免局部极小值和最大化探索

随机重新开始爬山： 这也是一种避免局部极小值的方法，算法将始终采取最佳步骤（基于梯度方向等），但将对此算法运行进行多次迭代，每次迭代将从平面上的随机点开始，因此它可以找到其他山顶

---

两种方法可以结合使用以获得最佳性能

随机爬山： 这意味着我们不会总是按照梯度的方向（最大化/最小化目标函数的步骤）采取步骤，算法不会选择概率为1的最佳步骤，但当prob小于1时，它会选择随机方向，因此，它有时可以朝相反的方向迈出一步，以避免局部极小值和最大化探索

随机重新开始爬山： 这也是一种避免局部极小值的方法，算法将始终采取最佳步骤（基于梯度方向等），但将对此算法运行进行多次迭代，每次迭代将从平面上的随机点开始，因此它可以找到其他山顶

这两种方法可以结合使用以获得最佳性能