为什么要使用tf.data.experimental.AUTOTUNE和tf.io.gfile.glob()?
我正在使用TPUs Kaggle竞赛对花瓣到金属花进行分类。我知道TFRecord是作为TensorFlow模型输入的更好的文件格式。为了并行读取N个文件,我遇到了这段代码。请有人逐行解释一下这个代码为什么要使用tf.data.experimental.AUTOTUNE和tf.io.gfile.glob()?,io,tensorflow2.0,glob,tpu,Io,Tensorflow2.0,Glob,Tpu,我正在使用TPUs Kaggle竞赛对花瓣到金属花进行分类。我知道TFRecord是作为TensorFlow模型输入的更好的文件格式。为了并行读取N个文件,我遇到了这段代码。请有人逐行解释一下这个代码 ignore_order = tf.data.Options() ignore_order.experimental_deterministic = False filenames = tf.io.gfile.glob(FILENAME_PATTERN) dataset = tf.data.TF
ignore_order = tf.data.Options()
ignore_order.experimental_deterministic = False
filenames = tf.io.gfile.glob(FILENAME_PATTERN)
dataset = tf.data.TFRecordDataset(filenames, num_parallel_reads=AUTO)
dataset = dataset.with_options(ignore_order)
dataset = dataset.map(...)```