Python 图像处理中的内存管理
我对数据科学还比较陌生,我正在尝试为数据科学创建一个CNN模型。我创建了以下两个函数,用于将JPEG图像文件夹转换为Numpy数组:Python 图像处理中的内存管理,python,image-processing,memory-management,ram,Python,Image Processing,Memory Management,Ram,我对数据科学还比较陌生,我正在尝试为数据科学创建一个CNN模型。我创建了以下两个函数,用于将JPEG图像文件夹转换为Numpy数组: def keras_pipeline(file): TARGET_SIZE = (100,150) img = load_img(file, target_size=TARGET_SIZE) img_array = img_to_array(img) return img_array def files_to_array(pat
def keras_pipeline(file):
TARGET_SIZE = (100,150)
img = load_img(file, target_size=TARGET_SIZE)
img_array = img_to_array(img)
return img_array
def files_to_array(path, files_list):
files = [path+file for file in files_list]
with concurrent.futures.ProcessPoolExecutor() as executor:
img_map = executor.map(keras_pipeline, files)
return img_map
然后我会在卷积网络中使用这个数组
我在一个有八个内核、16GB内存和一个NVIDIA GeForce GTX 1660Ti GPU的计算机上运行。我尝试过多次调整大小TARGET\u SIZE
s来运行这段代码,每次我都会使RAM过载。我可以尝试增加交换,但我认为无论我使用多少,它都会崩溃
是否有任何文献或文档讨论图像处理中的RAM使用情况,或计算特定大小的Numpy阵列将使用多少内存的方法