Fatal编程技术网
  • python/
  • Python 内存消耗随机森林scikit学习并行训练

Python 内存消耗随机森林scikit学习并行训练

python machine-learning scikit-learn

Python 内存消耗随机森林scikit学习并行训练,python,machine-learning,scikit-learn,data-mining,Python,Machine Learning,Scikit Learn,Data Mining,我正在使用scikit learn的随机林进行生产，我试图最小化并理解它们的内存占用。因此，我正在为我的预测脚本运行内存分析。我的随机林是从一个文件中加载的，这个文件大约有40 mb大，有30个子树，每个树的大小大约为1mb。它在12个核上并行训练。因此，当执行我的分析脚本时，它给出了以下输出：在wrapper类中，分类器加载到内存中 Line # Mem usage Increment Line Contents ================================

我正在使用scikit learn的随机林进行生产，我试图最小化并理解它们的内存占用。因此，我正在为我的预测脚本运行内存分析。我的随机林是从一个文件中加载的，这个文件大约有40 mb大，有30个子树，每个树的大小大约为1mb。它在12个核上并行训练。因此，当执行我的分析脚本时，它给出了以下输出：在wrapper类中，分类器加载到内存中

Line #    Mem usage    Increment   Line Contents
================================================
41 579.2 MiB    532.7 MiB       classifier = WrapperClass('test_tree.rf')
然而，当我在htop中查看相同的进程时，它向我显示内存使用量约为4gb？这两个数字如何组合在一起？哪一个是我可以信任的

非常感谢您的回答。

虚拟大小4GB，或常驻大小？2.5 GB常驻和4 GB虚拟虚拟大小4GB，或常驻大小？2.5 GB常驻和4 GB虚拟