Python MemoryError:无法分配形状为(2515406272)且数据类型为float32的数组

Python MemoryError:无法分配形状为(2515406272)且数据类型为float32的数组,python,machine-learning,deep-learning,out-of-memory,ram,Python,Machine Learning,Deep Learning,Out Of Memory,Ram,我正试图通过美国有线电视新闻网(CNN)的Spyder和Anaconda来识别手指关节。我有2515个图像,我正在处理,似乎8GB是不够的做到这一点。我能做什么? 我应该得到另一个RAM棒还是在Kaggle/Colab上做这个项目会是更好的方法 arr = np.array(finger_dat) arr = arr.reshape((2515, 406272)) arr = arr / 255 #############Making dataset####################

我正试图通过美国有线电视新闻网(CNN)的Spyder和Anaconda来识别手指关节。我有2515个图像,我正在处理,似乎8GB是不够的做到这一点。我能做什么? 我应该得到另一个RAM棒还是在Kaggle/Colab上做这个项目会是更好的方法

arr = np.array(finger_dat)
arr = arr.reshape((2515, 406272))

arr = arr / 255

#############Making dataset####################

label = np.array(range(503))
label = np.repeat(label, 5)

dataset = pd.DataFrame(arr)
dataset['label'] = label

X = dataset.iloc[:, 0:406272]
y = dataset.iloc[:, -1]

from sklearn.tree import DecisionTreeClassifier
dtf = DecisionTreeClassifier()
dtf.fit(X, y)

dtf.score(X, y)

尝试分批处理数据

看看这个文件。从sklearn:
在您的位置上,我会按以下顺序尝试:

科拉布, 更改代码以加载批 更改代码以使用数据库为列车馈电
购买更多ram,但可能需要大于40Gb的内存

2515*406272*32大约是30.5 GB,所以不,您没有足够的内存。谢谢,我刚刚在colab上试用过。Colab显示了一个新的错误,我在调整循环大小时没有进入jupyter。你能帮我做些什么吗?索引器:列表索引超出范围