Python 如何在多核上运行jupyter笔记本中的代码?

Python 如何在多核上运行jupyter笔记本中的代码?,python,multithreading,scikit-learn,jupyter-notebook,ram,Python,Multithreading,Scikit Learn,Jupyter Notebook,Ram,我试图在我的系统(16 GB ram、I5第8代处理器、256 GB硬盘)上实现一个具有形状(60000,32,32)的数据集上的K-邻域分类模型。虽然我已经标准化了数据,但是由于数据的大小,预测仍然需要花费大量的时间。有没有办法利用我的系统的多个内核或增加jupyter笔记本上分配的RAM以节省计算时间并加快计算速度?并非scikit learn的所有部分都支持并行处理,但如果您使用具有n_jobs参数的东西,这就是您可以尝试设置为6的内容。有一种方法可以增加jupyter笔记本的内存限制,请

我试图在我的系统(16 GB ram、I5第8代处理器、256 GB硬盘)上实现一个具有形状(60000,32,32)的数据集上的K-邻域分类模型。虽然我已经标准化了数据,但是由于数据的大小,预测仍然需要花费大量的时间。有没有办法利用我的系统的多个内核或增加jupyter笔记本上分配的RAM以节省计算时间并加快计算速度?

并非scikit learn的所有部分都支持并行处理,但如果您使用具有
n_jobs
参数的东西,这就是您可以尝试设置为6的内容。有一种方法可以增加jupyter笔记本的内存限制,请查看此问题。为了加快计算速度,您还可以将KNN的
算法
参数设置为
'ball\u tree'
'kd\u tree'
,这样可以更快地获得近似近邻。此外,您还可以尝试进行一些特征选择或特征工程,因为60000 1024维样本看起来相当大,并且数据可能具有相当高质量的低维表示。样本是32x32图像?原始数据的大小是多少?我确实将算法设置为kd_树,因为它的维数很大。但还是卡住了。是的,的确是MNIST 32x32数据集并非scikit learn的所有部分都支持并行处理,但如果您使用具有
n_jobs
参数的东西,您可以尝试将其设置为6。有一种方法可以增加jupyter笔记本的内存限制,请检查此问题。为了加快计算速度,您还可以将KNN的
算法
参数设置为
'ball\u tree'
'kd\u tree'
,这样可以更快地获得近似近邻。此外,您还可以尝试进行一些特征选择或特征工程,因为60000 1024维样本看起来相当大,并且数据可能具有相当高质量的低维表示。样本是32x32图像?原始数据的大小是多少?我确实将算法设置为kd_树,因为它的维数很大。但还是卡住了。是的,的确是MNIST 32x32数据集