Neural network 卷积神经网络的归一化方法_Neural Network_Deep Learning_Normalization_Cross Validation_Convolutional Neural Network

Neural network 卷积神经网络的归一化方法

neural-network deep-learning

Neural network 卷积神经网络的归一化方法,neural-network,deep-learning,normalization,cross-validation,convolutional-neural-network,Neural Network,Deep Learning,Normalization,Cross Validation,Convolutional Neural Network,有三种常见的图像数据归一化方法，分别是 1. X = (X - X.mean) / X.std 2. X /= 255. # (based on formula: (X - min) / (max - min) which can converge data into [0, 1].) 3. X = 2 * (X - min) / (max - min) - 1 # converge into [-1, 1] 我在不同的CNN教程或帖子中发现，人们可能会使用其中一个来规范化数据。但是我有点困惑

有三种常见的图像数据归一化方法，分别是

1. X = (X - X.mean) / X.std
2. X /= 255. # (based on formula: (X - min) / (max - min) which can converge data into [0, 1].)
3. X = 2 * (X - min) / (max - min) - 1 # converge into [-1, 1]

我在不同的CNN教程或帖子中发现，人们可能会使用其中一个来规范化数据。但是我有点困惑，在不同的情况下我应该如何选择一个呢

感谢您事先的解释。

广义上讲，我们规范化图像的原因是为了使模型更快收敛。当数据未标准化时，网络的共享权重对不同的特征有不同的校准，这会使代价函数收敛非常缓慢且无效。规范化数据使成本函数更易于训练

具体选择哪种标准化方法取决于所处理的数据以及对该数据的假设。上述三种标准化方法都基于两种思想，即居中和缩放。方法2。只涉及将数据缩放到特定范围。这样可以确保各种特征的比例处于相似的范围内，从而提供稳定的梯度。方法1。包括将数据集中在平均数据点周围，然后将数据点的每个维度与其标准偏差分开，以便所有维度对学习算法具有同等重要性。当您有理由相信数据中的不同维度具有非常不同的范围时，这种规范化会更加有效。使所有维度处于同一范围内，从而使参数共享有效。方法3也可以被视为与方法1一样执行sam工作的人。

谢谢您的解释@阿希什·库马尔