Tensorflow 神经网络不适合长距离训练

Tensorflow 神经网络不适合长距离训练,tensorflow,neural-network,Tensorflow,Neural Network,我在tensorflow中创建了一个神经网络。这些网络是: 5 input variables a, b, c, d, e y = sin(a)+ b + exp(c) - d*d + tanh(e) 50 neuron layer1, relu 20 neuron layer2, relu 10 neuron layer3, relu 1 neuron output layer 如果输入变量在小范围内,如-1到1或-5到5,则nn很容易收敛(成本约为0.0001)。但是如果我增加范围,它就不

我在tensorflow中创建了一个神经网络。这些网络是:

5 input variables a, b, c, d, e
y = sin(a)+ b + exp(c) - d*d + tanh(e)
50 neuron layer1, relu
20 neuron layer2, relu
10 neuron layer3, relu
1 neuron output layer

如果输入变量在小范围内,如-1到1或-5到5,则nn很容易收敛(成本约为0.0001)。但是如果我增加范围,它就不会收敛。同一网络在小输入范围内收敛,但在大范围内不收敛。为什么会发生这种情况?我怎样才能为大射程训练-100到100等等。

神经网络通常在标准化或规范化输入上表现更好,因为它们的梯度在反向传播过程中表现更好。这有很多原因,但例如较大的特征会对渐变产生更大的影响,这不一定是您想要的。有关更深入的讨论,请参见CrossValidated

标准化数据的一种方法是使用


更简单的方法是在输入端添加图层,但这会降低训练速度。

神经网络通常在标准化或规范化输入端表现更好,因为它们的梯度在反向传播过程中表现更好。这有很多原因,但例如较大的特征会对渐变产生更大的影响,这不一定是您想要的。有关更深入的讨论,请参见CrossValidated

标准化数据的一种方法是使用


更简单的方法是在输入端添加图层,但这会降低培训速度。

您可以发布全部代码吗?您可以发布全部代码吗?