Fatal编程技术网
  • tensorflow/
  • Tensorflow 来自目录的image\u dataset\u是否一次将所有图像加载到内存中？

Tensorflow 来自目录的image\u dataset\u是否一次将所有图像加载到内存中？

tensorflow keras

Tensorflow 来自目录的image\u dataset\u是否一次将所有图像加载到内存中？,tensorflow,keras,Tensorflow,Keras,我是机器学习新手，我正在尝试创建一个图像分类器，我想加载数据集，但我想这样做，它不会占用我所有的内存。阅读tensorflow文档，它说数据集的迭代是以流式方式进行的，我想知道来自目录的tf.keras.preprocessing.image\u dataset\u是否会立即加载图像，或者一次“流”一批图像。如果没有，我想让生成器一次读取一个文件名，并在批处理准备好keras.utils.Sequence时加载它们 tf.keras.preprocessing.image_dataset_fro

我是机器学习新手，我正在尝试创建一个图像分类器，我想加载数据集，但我想这样做，它不会占用我所有的内存。阅读tensorflow文档，它说数据集的迭代是以流式方式进行的，我想知道来自目录的tf.keras.preprocessing.image\u dataset\u是否会立即加载图像，或者一次“流”一批图像。如果没有，我想让生成器一次读取一个文件名，并在批处理准备好keras.utils.Sequence时加载它们

tf.keras.preprocessing.image_dataset_from_directory(
    directory, labels='inferred', label_mode='int', class_names=None,
    color_mode='rgb', batch_size=32, image_size=(256, 256), shuffle=True, seed=None,
    validation_split=None, subset=None, interpolation='bilinear', follow_links=False
)
如果定义批次大小，它将根据批次大小生成数据
，
否则
默认批次大小为32
在普通计算机中，不可能在一个批次中加载整个数据。有关更多详细信息，请阅读。
因此，它一次只从目录中加载批次？因此，如果我们要训练1000多条记录的数据，我们如何一次加载1000张图像。。