Fatal编程技术网
  • r/
  • R 为什么连接正在终止

R 为什么连接正在终止

r memory

R 为什么连接正在终止,r,memory,out-of-memory,random-forest,h2o,R,Memory,Out Of Memory,Random Forest,H2o,我正在尝试一个随机森林分类模型，在一个有7000万行和25个数字特征的训练集上使用H2Olibrary inside R。总文件大小为5.6 GB 验证文件的大小为1 GB 我的系统上有16 GB RAM和8核CPU 系统能够成功读取H2O对象中的两个文件 然后我给出以下命令来构建模型： model <- h2o.randomForest(x = c(1:18,20:25), y = 19, training_frame = traindata,

我正在尝试一个随机森林分类模型，在一个有7000万行和25个数字特征的训练集上使用
H2O
library inside R。总文件大小为5.6 GB

验证文件的大小为1 GB

我的系统上有16 GB RAM和8核CPU

系统能够成功读取H2O对象中的两个文件

然后我给出以下命令来构建模型：

model <- h2o.randomForest(x = c(1:18,20:25), y = 19, training_frame = traindata, 
                          validation_frame = testdata, ntrees = 150, mtries = 6)

model可能您的内存不足。尝试查看森林生长期间系统的内存使用情况。另外，尝试直接从H2O web控制台启动培训（默认情况下），可能会出现更详细的错误。
这是一个OutOfMemory错误。R侧此错误消息的一个变体是：


Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion,  : 
  Unexpected CURL error: Empty reply from server


检查h2o服务器日志（您也应该这样做）将告诉您：


10-08 20:11:57.165 192.168.0.4:54321     2125   #58072-18 INFO: Total file size: 1.81 GB
10-08 20:11:57.165 192.168.0.4:54321     2125   #58072-18 INFO: Parse chunk size 4194304
        onExCompletion for water.parser.ParseDataset$MultiFileParseTask@3588360e
        java.lang.OutOfMemoryError: Java heap space
:
:
Exception in thread "FJ-0-11" java.lang.OutOfMemoryError: Java heap space
2015-10-08 20:13:14.493:WARN:oejut.QueuedThreadPool:1 threads could not be stopped
10-08 20:13:23.033 192.168.0.4:54321     2125   FJ-0-5    ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:23.458 192.168.0.4:54321     2125   FJ-0-3    ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:23.033 192.168.0.4:54321     2125   FJ-0-13   ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:23.033 192.168.0.4:54321     2125   FJ-0-7    ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:26.541 192.168.0.4:54321     2125   FJ-0-5    FATAL: Exiting.
10-08 20:13:26.574 192.168.0.4:54321     2125   FJ-0-7    FATAL: Exiting.
10-08 20:13:26.575 192.168.0.4:54321     2125   FJ-0-3    FATAL: Exiting.
10-08 20:13:26.575 192.168.0.4:54321     2125   FJ-0-13   FATAL: Exiting.



我在h2o Slater（3.2.0.5）上运行此功能，因此根据您的版本，此功能可能会有所不同
 我已经检查了森林生长期间的内存使用情况。内存迅速下降，最后我得到了连接错误。我将终止其他进程，只运行RF algo。如果有帮助，请告诉我们。或者，你可以尝试一些资源要求较低的ML方法，比如深度神经网络，它也存在于H2O-base版本中。这是我的错误。以前我使用默认内存选项运行H2O实例（这对于我的数据来说太少了）。现在，我正在使用-Xmx14g选项运行H2O实例，并且algo正在成功运行。干杯…：）。在我的例子中，如果我的精确度低于阈值，我会考虑你的深入学习的建议。