Python-超出RAM限制？_Python_Macos_Machine Learning_Scikit Learn_Out Of Memory

Python-超出RAM限制？

python macos machine-learning scikit-learn

Python-超出RAM限制？,python,macos,machine-learning,scikit-learn,out-of-memory,Python,Macos,Machine Learning,Scikit Learn,Out Of Memory,我正在尝试分析文本，但我的Mac电脑的RAM只有8千兆，而RidgerGressor只是在一段时间后停止使用Killed:9。我确认这是因为它需要更多的内存是否有办法禁用堆栈大小限制，以便算法可以使用某种交换内存？您需要手动执行此操作这里可能有两个不同的核心问题： A:保存你的训练数据 B:训练回归者首先，你可以试试numpy's，它将摘要交换掉。作为另一种选择，考虑将数据准备到HDF5或一些DB。对于HDF5，您可以使用或，两者都允许类似numpy的用法对于B：使用一些核心外就绪

我正在尝试分析文本，但我的Mac电脑的RAM只有8千兆，而RidgerGressor只是在一段时间后停止使用

Killed:9

。我确认这是因为它需要更多的内存

是否有办法禁用堆栈大小限制，以便算法可以使用某种交换内存？

您需要手动执行此操作

这里可能有两个不同的核心问题：

A:保存你的训练数据
B:训练回归者

首先，你可以试试numpy's，它将摘要交换掉。作为另一种选择，考虑将数据准备到HDF5或一些DB。对于HDF5，您可以使用或，两者都允许类似numpy的用法

对于B：使用一些核心外就绪算法是个好主意。在scikit中，了解这些是支持的

请记住，此培训过程至少分解为两个新元素：

关于记忆的有效率的存在
- 交换很慢；您不想在学习过程中使用存储N^2辅助内存的东西
有效收敛

上面链接中的那些算法对这两个方面都应该是可以的

可以参数化以类似于RidgeRegression

另外：可能需要手动使用

部分拟合

，遵守算法规则（通常是收敛性证明所需的某种随机顺序）。将交换抽象出来的问题是：如果你的回归者在每个时代都在做排列，而不知道这有多昂贵，你可能会遇到麻烦

因为这个问题本身很难解决，所以有一些专门为此构建的库，而sklearn需要更多的手工工作。最极端的一个（很多疯狂的把戏）可能是（IO通常是瓶颈！）。当然还有其他流行的lib，例如，服务于稍微不同的用途（分布式计算）。

您需要手动完成