Tensorflow 如何在Google Colab中高效地使用GPU RAM?

Tensorflow 如何在Google Colab中高效地使用GPU RAM?,tensorflow,machine-learning,gpu,google-colaboratory,multilabel-classification,Tensorflow,Machine Learning,Gpu,Google Colaboratory,Multilabel Classification,我正在设计一个多标签图像分类器。为此,我需要加载7867个左右的train_映像。在加载映像时,RAM使用从0.92 GB增加到12.5 GB 加载后,当我将图像装入numpy阵列时,RAM使用总可用大小,即25.54 GB,代码停止执行,出现错误“您的会话崩溃” 我正在使用的示例代码 train_图像=[] 对于tqdm中的i(范围(列形状[0]): img=image.load\u img( '/content/Multi_Label_dataset/Images/'+train['Id']

我正在设计一个
多标签图像分类器
。为此,我需要加载7867个左右的train_映像。在加载映像时,RAM使用从0.92 GB增加到12.5 GB

加载后,当我将图像装入numpy阵列时,RAM使用总可用大小,即25.54 GB,代码停止执行,出现错误“您的会话崩溃”

我正在使用的示例代码

train_图像=[]
对于tqdm中的i(范围(列形状[0]):
img=image.load\u img(
'/content/Multi_Label_dataset/Images/'+train['Id'][i]+'.jpg',
目标_大小=(400400,3)
)
img=image.img_到_数组(img)
img=img/255
列车图像附加(img)
截至上述RAM使用量为12.52 GB

X=np.数组(序列图像)
执行此行时,RAM使用情况变为红色,并弹出“会话崩溃消息”


如何处理此问题?

您的数据集太大,无法一次性加载到RAM中。这是使用图像数据集时的常见情况。除了数据集,RAM还需要保存模型、其他变量和额外的处理空间

要帮助加载,您可以使用
data\u generators()
flow\u from\u directory()

data\u generator()
负责所有图像预处理,如整形和规格化。来自目录的
flow\u()
将帮助解决内存问题。它从指定目录动态加载一批图像,并在应用预处理技术后将其传递到模型