Deep learning 我是否可以划分培训数据并对每个部分进行培训,而不是一次输入全部数据?

Deep learning 我是否可以划分培训数据并对每个部分进行培训,而不是一次输入全部数据?,deep-learning,bigdata,training-data,Deep Learning,Bigdata,Training Data,我有一个很大的8k图像数据集。我想在我的电脑上训练这些数据,但内存有问题。所以我想也许我可以将我的数据分成4个部分,每个部分包含2K个图像,然后在同一个模型上单独训练每个部分。有可能吗?你可以使用生成器在分区中向模型提供数据,没有填满你的记忆 您应该看看这一点,他们在Keras中解释了问题,并教您如何这样做(如果您使用的是框架)您可以使用生成器在分区中向您的模型提供数据,而无需占用内存 您应该看看这一点,他们会在Keras中解释问题并教您如何这样做(如果您使用的是这个框架)

我有一个很大的8k图像数据集。我想在我的电脑上训练这些数据,但内存有问题。所以我想也许我可以将我的数据分成4个部分,每个部分包含2K个图像,然后在同一个模型上单独训练每个部分。有可能吗?

你可以使用生成器在分区中向模型提供数据,没有填满你的记忆


您应该看看这一点,他们在
Keras
中解释了问题,并教您如何这样做(如果您使用的是框架)

您可以使用生成器在分区中向您的模型提供数据,而无需占用内存

您应该看看这一点,他们会在
Keras
中解释问题并教您如何这样做(如果您使用的是这个框架)