Python 如何充分洗牌Tensorflow中的大规模TFR记录数据？_Python_Tensorflow_Deep Learning

Python 如何充分洗牌Tensorflow中的大规模TFR记录数据？

python tensorflow deep-learning

Python 如何充分洗牌Tensorflow中的大规模TFR记录数据？,python,tensorflow,deep-learning,Python,Tensorflow,Deep Learning,假设我们得到20万张标记为“1”的图片，另外20万张标记为“0”的图片依次转换为tensorflow的tfrecord。我试着用tf.train.shuffle\u batch洗牌tf记录。问题是，如果没有一个很大的minu-after-queue，我就无法充分地洗牌数据，而如果minu-after-queue太大，数据就会内存不足。有什么解决方案吗谢谢我建议为此使用tf.data.Dataset，假设您希望混合使用“1”和“0”标签，则可以利用无序转换和交错转换

假设我们得到20万张标记为“1”的图片，另外20万张标记为“0”的图片依次转换为tensorflow的tfrecord。我试着用tf.train.shuffle\u batch洗牌tf记录。问题是，如果没有一个很大的minu-after-queue，我就无法充分地洗牌数据，而如果minu-after-queue太大，数据就会内存不足。有什么解决方案吗

谢谢

我建议为此使用tf.data.Dataset，假设您希望混合使用“1”和“0”标签，则可以利用无序转换和交错转换