Tensorflow模型。拟合()再现性

Tensorflow模型。拟合()再现性,tensorflow,keras,deep-learning,tensorflow2.x,Tensorflow,Keras,Deep Learning,Tensorflow2.x,上述3个model.fit()调用给出了以下结果: import tensorflow as tf RANDOM_SEED_CONSTANT = 42 # FOR_REPRODUCIBILITY tf.random.set_seed(RANDOM_SEED_CONSTANT) # Prevent NHWC errors https://www.nuomiphp.com/eplan/en/50125.html from tensorflow.keras import backend as K

上述3个model.fit()调用给出了以下结果:

import tensorflow as tf

RANDOM_SEED_CONSTANT = 42  # FOR_REPRODUCIBILITY
tf.random.set_seed(RANDOM_SEED_CONSTANT)

# Prevent NHWC errors https://www.nuomiphp.com/eplan/en/50125.html
from tensorflow.keras import backend as K
K.set_image_data_format("channels_last")

from tensorflow import keras
from tensorflow.keras import datasets, layers, models

(train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data()
train_images, test_images = train_images / 255.0, test_images / 255.0 # Normalize pixel values to be between 0 and 1

# Create a simple CNN
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(layers.Dense(64, 
                       activation='relu', 
                       kernel_initializer=tf.keras.initializers.HeNormal(seed=RANDOM_SEED_CONSTANT)))
model.add(layers.Dense(10, 
                       kernel_initializer=tf.keras.initializers.HeNormal(seed=RANDOM_SEED_CONSTANT)))

print(model.summary())

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

model.save_weights('myweights.h5')

# Run1
history = model.fit(train_images, train_labels, epochs=1, 
                    shuffle=False,
                    validation_data=(test_images, test_labels))

# Run2
model.load_weights('myweights.h5')
history = model.fit(train_images, train_labels, epochs=1, 
                    shuffle=False,
                    validation_data=(test_images, test_labels))

# Run3
model.load_weights('myweights.h5')
history = model.fit(train_images, train_labels, epochs=1, 
                    shuffle=False,
                    validation_data=(test_images, test_labels))
造成这种差异的原因是什么?我试图了解可能妨碍从模型中复制结果的来源。除了随机种子,密集层初始化,我还缺少什么

1563/1563 [==============================] - 7s 4ms/step - loss: 1.4939 - accuracy: 0.4543 - val_loss: 1.2516 - val_accuracy: 0.5567

1563/1563 [==============================] - 6s 4ms/step - loss: 1.6071 - accuracy: 0.4092 - val_loss: 1.3857 - val_accuracy: 0.4951

1563/1563 [==============================] - 7s 4ms/step - loss: 1.5538 - accuracy: 0.4325 - val_loss: 1.3187 - val_accuracy: 0.5294

测试再现性的方法不正确。您需要关闭程序并重新运行,以查看结果是否相同。否则,运行2取决于运行1期间发生的事件,而运行3取决于运行1和2期间发生的事件

原因是Tensorflow维护一个用于随机生成的内部计数器,如(emphasis是我的)文档中所述:

print(tf.random.uniform([1],seed=1))#生成“A1”
打印(tf.random.uniform([1],seed=1))#生成“A2”
我们在上面对tf.random.uniform的第二次调用中得到“A2”而不是“A1”的原因是,TensorFlow使用相同的tf.random.uniform内核(即内部表示)来处理具有相同参数的所有调用,并且内核维护一个内部计数器,该计数器在每次执行时递增,产生不同的结果。

如果我只运行程序的第一次运行两次,在每次运行之间关闭程序(在这种情况下,在IPython中),我会得到:

[1]中的
:运行program.py
1563/1563[===============================================================-13s 8ms/步长-损耗:1.4997-精度:0.4540-val_损耗:1.2528-val_精度:0.5494
{‘损失’:[1.4996991157531738],‘准确性’:[0.4540199935436249],‘价值损失’:[1.2527965307235718],‘价值准确性’:[0.5493999719619751]}
在[2]中:运行program.py
1563/1563[===================================================12s 8ms/步长-损耗:1.4997-精度:0.4540-val_损耗:1.2528-val_精度:0.5494
{‘损失’:[1.4996991157531738],‘准确性’:[0.4540199935436249],‘价值损失’:[1.2527965307235718],‘价值准确性’:[0.5493999719619751]}

减去执行计算所需的时间,根据机器上的负载可能会有所不同,结果完全相同。

我试图总结您的答案。因此,“tf.random.set_seed()”确保在每个程序运行期间,第一次函数调用得到相同的结果。在一个程序运行期间,对具有相同参数的同一函数的重复调用期望相同的结果,这是我的错误。对吗?需要注意的是,在您共享的同一文档页面中,它声明“调用
tf.random.set_seed()
将重置任何此类计数器”。这有点误导。顺便说一下,我只在第一次调用model.fit()时运行了两次相同的代码,第二次运行时,我得到了
{'loss':[1.4873973117981],'accurity':[0.4600600004196167],'val_loss':[1.2456825971603394],'val_accurity':[0.554600000314697]
{'loss':[1.48827230932837],“准确度”:[0.46059998869895935],“val_损失”:[1.25975501537323],“val_准确度”:[0.5461000204086304]}
`“调用tf.random.set_seed()将重置任何此类计数器”。这有点误导性`是的,我同意这是误导性的,但这在后面的页面中被解释为“当多个相同的随机操作被包装在一个tf.函数中时,它们的行为会改变,因为这些操作不再共享同一个计数器。”这有点隐藏在Keras抽象的背后,但是你的模型创建就是这样。至于你的第二条评论,即使通过查看
history.history
我也得到了完全相同的值。