Machine learning 梯度下降算法，我也应该规范化参数吗？

我对标准化和梯度下降有一些疑问，我无法理解：

• 我应该规范化样本之外的参数吗

• 如果我在执行梯度下降之前规范化了参数，我是否也应该取消规范化结果参数

---

提前感谢。

您想要在模型中训练的参数通常在运行梯度下降之前初始化

如果您使用的是pytorch或tensorflow之类的框架，那么将有一个名为“init”之类的模块，该模块具有初始化参数的方法。 参数可以安全地从正态分布中提取，但可以使用许多其他分布

模型的输出通常与“实际”数量不对应（除非您想进行所谓的“回归”）。通常，您会希望输出诸如属于某个类的概率之类的内容（例如：狗、猫或狮子）。在这种情况下，输出元素应该是介于0和1之间的值。这通常通过所谓的softmax层实现