Python 图像处理中的内存管理

Python 图像处理中的内存管理,python,image-processing,memory-management,ram,Python,Image Processing,Memory Management,Ram,我对数据科学还比较陌生,我正在尝试为数据科学创建一个CNN模型。我创建了以下两个函数,用于将JPEG图像文件夹转换为Numpy数组: def keras_pipeline(file): TARGET_SIZE = (100,150) img = load_img(file, target_size=TARGET_SIZE) img_array = img_to_array(img) return img_array def files_to_array(pat

我对数据科学还比较陌生,我正在尝试为数据科学创建一个CNN模型。我创建了以下两个函数,用于将JPEG图像文件夹转换为Numpy数组:

def keras_pipeline(file):
    TARGET_SIZE = (100,150)
    img = load_img(file, target_size=TARGET_SIZE)
    img_array = img_to_array(img)
    return img_array
 
def files_to_array(path, files_list):
    files = [path+file for file in files_list]
    with concurrent.futures.ProcessPoolExecutor() as executor:
        img_map = executor.map(keras_pipeline, files)
    return img_map
然后我会在卷积网络中使用这个数组

我在一个有八个内核、16GB内存和一个NVIDIA GeForce GTX 1660Ti GPU的计算机上运行。我尝试过多次调整大小
TARGET\u SIZE
s来运行这段代码,每次我都会使RAM过载。我可以尝试增加交换,但我认为无论我使用多少,它都会崩溃

是否有任何文献或文档讨论图像处理中的RAM使用情况,或计算特定大小的Numpy阵列将使用多少内存的方法