Fatal编程技术网
  • numpy/
  • 如何加载numpy阵列的大型数据集，以便在tensorflow2.1.0中训练CNN模型

如何加载numpy阵列的大型数据集，以便在tensorflow2.1.0中训练CNN模型

numpy tensorflow deep-learning

如何加载numpy阵列的大型数据集，以便在tensorflow2.1.0中训练CNN模型,numpy,tensorflow,deep-learning,Numpy,Tensorflow,Deep Learning,我正在为tensorflow2.1.0中的二进制分类任务训练卷积神经网络（CNN）模型。 每个实例的特征是一个形状为（50，50，50，2）的4维numpy数组，其中每个元素的类型为float32。 每个实例的标签为1或0 我最大的训练数据集可以包含多达1亿个实例 为了有效地训练模型，是否最好序列化我的训练数据并将其存储在一组TFrecord格式的文件中，然后使用tf.data.TFRecordDataset（）加载它们并使用tf.data.map（）解析它们？ 如果是这样的话，您能给我举个例子

我正在为tensorflow2.1.0中的二进制分类任务训练卷积神经网络（CNN）模型。 每个实例的特征是一个形状为（50，50，50，2）的4维numpy数组，其中每个元素的类型为float32。 每个实例的标签为1或0 我最大的训练数据集可以包含多达1亿个实例

为了有效地训练模型，是否最好序列化我的训练数据并将其存储在一组TFrecord格式的文件中，然后使用tf.data.TFRecordDataset（）加载它们并使用tf.data.map（）解析它们？ 如果是这样的话，您能给我举个例子，说明如何序列化要素标签对并将它们存储到TFrecord文件中，然后如何加载和解析它们吗？ 我在Tensorflow的网站上没有找到合适的例子

或者有没有更好的方法来存储和加载庞大的数据集？非常感谢。

有很多方法可以在不使用TFRecord的情况下高效地构建数据管道单击此处

要高效地从目录中提取图像，请单击此按钮

希望这对您有所帮助。

有很多方法可以在不使用TFRecord的情况下高效地构建数据管道单击此按钮

要高效地从目录中提取图像，请单击此按钮

希望这对您有所帮助。

谢谢您的建议。我会试试这些。谢谢你的建议。我要试试这些。