Machine learning 学习率如何影响梯度下降？
当梯度下降定量地表明需要减少偏差和权重时，学习率在做什么？？我是一个初学者，请有人告诉我这一点。学习率是一个超参数，它控制我们根据损失梯度调整网络权重的程度。该值越低，我们沿向下坡度行驶的速度越慢。虽然这可能是一个好主意，使用低学习率来确保我们不会错过任何局部极小值，但这也可能意味着我们需要很长时间才能收敛 — 特别是如果我们被困在高原地区 新权重=现有权重-学习率*梯度 如果学习速度太小，梯度下降可能会很慢Machine learning 学习率如何影响梯度下降？,machine-learning,gradient-descent,Machine Learning,Gradient Descent,当梯度下降定量地表明需要减少偏差和权重时，学习率在做什么？？我是一个初学者，请有人告诉我这一点。学习率是一个超参数，它控制我们根据损失梯度调整网络权重的程度。该值越低，我们沿向下坡度行驶的速度越慢。虽然这可能是一个好主意，使用低学习率来确保我们不会错过任何局部极小值，但这也可能意味着我们需要很长时间才能收敛 — 特别是如果我们被困在高原地区 新权重=现有权重-学习率*梯度 如果学习速度太小，梯度下降可能会很慢 如果学习速度很快，梯度下降可能会超过最小值。它可能无法收敛，甚至可能发散。在问这个问题
如果学习速度很快，梯度下降可能会超过最小值。它可能无法收敛，甚至可能发散。在问这个问题。欢迎这样做；请花点时间阅读