Python 2.7 返回使用的内存,以便预测计算ML算法所需的内存

Python 2.7 返回使用的内存,以便预测计算ML算法所需的内存,python-2.7,memory,memory-management,scikit-learn,random-forest,Python 2.7,Memory,Memory Management,Scikit Learn,Random Forest,我正在运行一个随机的Forest ML脚本,使用一个测试大小的数据集5 k个观测值,以及一组参数和不同数量的林。我的真实模型接近100万次观测,有500多个参数。我试图计算这个模型需要多少内存,假设有x个森林 为了做到这一点,我可以使用一种方法返回脚本运行时使用了多少内存。是否可以返回这个,以便我可以计算计算完整模型所需的RAM 我目前使用以下方法来告诉我计算需要多长时间: global starttime print "The whole routine took %.3f seconds"

我正在运行一个随机的Forest ML脚本,使用一个测试大小的数据集5 k个观测值,以及一组参数和不同数量的林。我的真实模型接近100万次观测,有500多个参数。我试图计算这个模型需要多少内存,假设有x个森林

为了做到这一点,我可以使用一种方法返回脚本运行时使用了多少内存。是否可以返回这个,以便我可以计算计算完整模型所需的RAM

我目前使用以下方法来告诉我计算需要多长时间:

global starttime
print "The whole routine took %.3f seconds" % (time() - starttime)
编辑我自己的答案 我感觉自己在和自己交谈,但是嘿,我试着运行下面的代码,以了解实际使用了多少内存,以及为什么当我增加
n\u估计器\u值的数量时,我的电脑内存不足。不幸的是,所有的%内存使用率都是一样的,我假设这是因为它在错误的时间计算内存使用率,它需要在峰值记录它,同时实际拟合随机林。见代码:

psutilpercent = psutil.virtual_memory()
print "\n", " --> Memory Check 1 Percent:", str(psutilpercent.percent) + "%\n"

n_estimators_value = 500
rf = ensemble.RandomForestRegressor(n_estimators = n_estimators_value, oob_score=True, random_state = 1)

psutilpercent = psutil.virtual_memory()
print "\n", " --> Memory Check 1 Percent:", str(psutilpercent.percent) + "%\n"

有什么方法可以找出峰值内存使用率?我试图计算需要多少内存来适应一个相当大的射频,我不能不知道我的小型号需要多少内存来计算这个

/usr/bin/time
报告程序的内存使用峰值。还有一个用于Python的方法