Machine learning 权重何时停止更新？
我正在为一个赋值实现梯度下降，我对权重何时停止更新感到困惑。当权重没有太大变化时，我是否停止更新权重，即当权重I-weightprevious I简单来说，当成本/损失最小化时，您停止更新权重Machine learning 权重何时停止更新？,machine-learning,logistic-regression,gradient-descent,Machine Learning,Logistic Regression,Gradient Descent,我正在为一个赋值实现梯度下降，我对权重何时停止更新感到困惑。当权重没有太大变化时，我是否停止更新权重，即当权重I-weightprevious I简单来说，当成本/损失最小化时，您停止更新权重 你应该使用偏导数来分布梯度。如果你可以访问梯度，你可以在梯度的l2范数低于某个阈值时停止，如果不低于某个阈值，你可以在权重差的l2范数上使用你的方法，通常在这种情况下，阈值不是绝对的，但是相对于| |重量| | | |+小的|增量。您可能还会发现此链接很有用： 请注意，您需要对要最小化的函数的性质进行一些
你应该使用偏导数来分布梯度。如果你可以访问梯度，你可以在梯度的l2范数低于某个阈值时停止，如果不低于某个阈值，你可以在权重差的l2范数上使用你的方法，通常在这种情况下，阈值不是绝对的，但是相对于| |重量| | | |+小的|增量。您可能还会发现此链接很有用： 请注意，您需要对要最小化的函数的性质进行一些假设，以保证最小值的存在，吸引域中的起始点不是强凸函数的问题，但通常不成立