Machine learning 重新调整神经网络的输入特征（回归）

在回归问题的神经网络中，我们根据输出激活函数一致地重新缩放连续标签，即，如果使用logistic sigmoid，则对其进行规格化，如果使用tanh，则对其进行调整规格化。最后，我们可以恢复原来的范围，但重新规范化的输出神经元回来

---

我们是否也应该规范化输入特性？怎么做？例如，如果隐藏激活与输出激活不同？例如，如果隐藏激活是TANH，而输出激活是逻辑激活，那么输入特征是否应该标准化为[0,1]或[-1,1]间隔？

简短的回答是肯定的，您还应该调整输入值，尽管其原因与输出神经元的原因大不相同。激活函数只会使某些输出值不可访问（sigmoid只能输出[0,1]中的值，[-1,1]中的tanh），而对于输入则不是这样（所有激活函数都在整个R域上定义）。执行缩放输入是为了加快收敛速度（因此您不会到达激活函数的“平坦”部分），但没有确切的规则。至少有三种可能性被广泛使用：

• 线性缩放到[0,1]
• 线性缩放到[-1,1]
• 标准化为平均值=0和标准值=1

---

对于某些特定的数据集，每种方法都有自己的优缺点。据我所知，最后一个具有最好的统计特性，但它仍然是神经网络中的“经验法则”。

谢谢。我还注意到，如果不重新调整输入的大小，溢出指数就会变得很大。然而，缩放解决了这个问题。