Machine learning 纯随机梯度下降标度异常

我训练线性回归（y=b0+b1*x），带有SGD、批次大小=1和一次数据传递（历元）。当将输入缩放到不合理的值时，它会收敛（见下文）。当缩放到“标准”值（计算输入数据集上的单位方差和平均值）时，我无法收敛到任何合理的误差值，无论我如何更改学习速度/迭代次数。x和y都被划分为刻度，居中表示

培训数据： x=[1..70]y=[15.39…356.76]

标准比例： 迭代次数=500次学习率=0.00003 x、 比例[20.20519735]x.mean[35.5]y.scale[100.3283148]y.mean[187.43898263]

异常缩放：迭代次数=500学习率=0.001 x.scale\u[2.5]x.mean\u[2.5]y.scale\u[3.]y.mean\u3.]

---

您可以看到，学习率是根据scales商进行调整的，因此这不仅仅是学习率问题（我也尝试了不同的值）。

第二个看起来不错。你期望的价值是什么？你在训练对抗洛格洛斯吗？训练对抗OLS。请查看输入值和标准化参数。问题是为什么它与标准化输入分离，与随机缩放输入收敛？？两者似乎都表现正常，例如，损耗在减少？第一个在纪元末达到值35。正如你们所看到的，当最大值（x）为70时，35不是一个合理的误差。你们可以再训练一段时间。如果您使用的是学习速率衰减，那么您可能也需要对其进行调整。第二个看起来不错。你期望的价值是什么？你在训练对抗洛格洛斯吗？训练对抗OLS。请查看输入值和标准化参数。问题是为什么它与标准化输入分离，与随机缩放输入收敛？？两者似乎都表现正常，例如，损耗在减少？第一个在纪元末达到值35。正如你们所看到的，当最大值（x）为70时，35不是一个合理的误差。你们可以再训练一段时间。如果您使用的是学习速率衰减，那么您可能还需要对其进行调整。