Python Tensorflow-使用并行交叉从多个TFU记录读取不同的块长度?
我试图读取三个不同长度的大TF记录,并以如下方式并行读取它们:Python Tensorflow-使用并行交叉从多个TFU记录读取不同的块长度?,python,tensor,tfrecord,Python,Tensor,Tfrecord,我试图读取三个不同长度的大TF记录,并以如下方式并行读取它们: files = [ filename1, filename2, filename3 ] data = tf.data.TFRecordDataset(files) data = data.apply( tf.contrib.data.parallel_interleave( lambda filename: tf.data.TFRecordDataset(data), cycle_leng
files = [ filename1, filename2, filename3 ]
data = tf.data.TFRecordDataset(files)
data = data.apply(
tf.contrib.data.parallel_interleave(
lambda filename: tf.data.TFRecordDataset(data),
cycle_length=3,block_length = [10,5,3]))
data = data.shuffle(
buffer_size = 100)
data = data.apply(
tf.contrib.data.map_and_batch(
map_func=parse,
batch_size=100))
data = data.prefetch(10)
,但TensorFlow不允许每个文件源具有不同的块长度:
InvalidArgumentError: block_length must be a scalar
我可以用不同的小批量创建三个不同的数据集,但这需要3倍的资源,而这不是我的机器限制所提供的选项
可能的解决方案是什么?答案就在这里,我找到了如何在自己的限制下做到这一点 为每个文件创建数据集,为每个文件定义每个小批量大小,并将get_next()输出连接在一起。这适合我的机器,运行效率高