Tensorflow 例如，在基本Mnist中，所有权重都变为NaN

我正在运行在上给出的Mnist示例。几次之后，精度下降到接近零，所有层权重变为NaN

x_train shape: (60000, 28, 28, 1)
60000 train samples
10000 test samples
Train on 60000 samples, validate on 10000 samples
Epoch 1/12
60000/60000 [==============================] - 4s 69us/step - loss: 0.2202 - acc: 0.9321 - val_loss: 0.0594 - val_acc: 0.9815
Epoch 2/12
60000/60000 [==============================] - 4s 63us/step - loss: 0.0741 - acc: 0.9773 - val_loss: 0.0392 - val_acc: 0.9871
Epoch 3/12
60000/60000 [==============================] - 4s 63us/step - loss: 0.0345 - acc: 0.6064 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 4/12
60000/60000 [==============================] - 4s 63us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 5/12
60000/60000 [==============================] - 4s 62us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 6/12
60000/60000 [==============================] - 4s 63us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 7/12
60000/60000 [==============================] - 4s 63us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 8/12
60000/60000 [==============================] - 4s 63us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 9/12
60000/60000 [==============================] - 4s 63us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 10/12
60000/60000 [==============================] - 4s 63us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 11/12
60000/60000 [==============================] - 4s 62us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Epoch 12/12
60000/60000 [==============================] - 4s 63us/step - loss: 1.1921e-07 - acc: 0.0987 - val_loss: 1.1921e-07 - val_acc: 0.0980
Test loss: 1.1920930376163597e-07
Test accuracy: 0.098

TensorFlow 1.12.0 Keras 2.2.4 CUDA版本10.0.130

---

cuDNN 7.3.1

我已经多次运行该示例，但从未见过这种行为，您是否对该示例进行了任何修改？如果不是这样，我们就必须猜测你跑步中的不同之处，以产生完全不同的结果。尝试降低学习率。此外，张贴您的网络损耗功能的配置，学习率，重量初始化方法。这些都是常见的罪魁祸首。@MatiasValdenegro我只是从Keras网站上复制粘贴了代码，没有修改这不会发生在我在CPU上训练时，在CPU上它成功地训练到99.2%的val准确率12个世纪后在tensorflow和Keras上尝试了所有东西后，我安装了pytorch和fastai，这也不起作用。我使用了来自的示例，损失在第一个纪元中变成了nan。我已经运行了该示例很多次，但从未见过这种行为，您是否对该示例进行了任何修改？如果不是这样，我们就必须猜测你跑步中的不同之处，以产生完全不同的结果。尝试降低学习率。此外，张贴您的网络损耗功能的配置，学习率，重量初始化方法。这些都是常见的罪魁祸首。@MatiasValdenegro我只是从Keras网站上复制粘贴了代码，没有修改这不会发生在我在CPU上训练时，在CPU上它成功地训练到99.2%的val准确率12个世纪后在tensorflow和Keras上尝试了所有东西后，我安装了pytorch和fastai，这也不起作用。我使用了来自的例子，损失在第一个纪元变成了nan。

for layer in model.layers:
    if len(layer.get_weights()) > 0 and np.all(np.isnan(layer.get_weights()[0])):
        print(layer.name)

Output:
conv2d_3
conv2d_4
dense_3
dense_4