R H20-超过ncpus

R H20-超过ncpus,r,h2o,automl,R,H2o,Automl,我正在尝试运行h2o.automl(),但它一直失败,因为我的NCPU用完了 我通过请求47个线程来启动h20会话:h2o.init(nthreads=47) 我在开始时提供足够数量的NCPU和内存: R连接到H2O簇: H2O群集正常运行时间:2秒286毫秒 H2O集群时区:欧洲/伦敦 H2O数据解析时区:UTC H2O群集版本:3.18.0.4 H2O群集版本年龄:18天 H2O集群名称:H2O_从_R_cmorgan1_gvi181开始 H2O群集总节点数:1 H2O群集总内存:26.67

我正在尝试运行h2o.automl(),但它一直失败,因为我的NCPU用完了

我通过请求47个线程来启动h20会话:
h2o.init(nthreads=47)

我在开始时提供足够数量的NCPU和内存:

R连接到H2O簇: H2O群集正常运行时间:2秒286毫秒 H2O集群时区:欧洲/伦敦 H2O数据解析时区:UTC H2O群集版本:3.18.0.4 H2O群集版本年龄:18天 H2O集群名称:H2O_从_R_cmorgan1_gvi181开始 H2O群集总节点数:1 H2O群集总内存:26.67 GB H2O簇核总数:40 H2O团簇允许核数:40 H2O簇健康:正确 H2O连接ip:localhost H2O连接端口:54321 H2O连接代理:NA H2O内部安全:错误 H2OAPI扩展:XGBoost、Algos、AutoML、核心V3、核心V4 R版本:R版本3.4.1(2017-06-30)

然而,过了一段时间(38%完成率)后,它停止了,并告诉我我没有足够的NCPU

|=========================================================================================================100%==============================================================================================================================================================================================
|======================================================================================================================
|========================================
|38%=>>PBS:作业已终止:ncpus 33.43超出限制32(总和)

============================================

    Job resource usage summary

             Memory (GB)    NCPUs  Requested  :        45            48  Used       :        12 (peak)  36.00 (ave)
以前有没有人遇到过这个问题,你有没有工作?我不认为我的数据大小异常,它有29个缩放参数和94000行数据


感谢您的建议,

这与H2O无关

这里的线索是信息“PBS:工作被杀”

在这里进行少量的互联网搜索表明,您正在以某种方式使用PBS调度程序(),这会扼杀您的工作。(我以前从未见过有人使用PBS,但基于上述信息,这一切似乎都很有可能。)


由于PBS告诉您限制为32核,我建议您尝试指定一个小于该值的值。也许使用
h2o.init(nthreads=30)
PBS将不再终止您的进程。

这与h2o无关

这里的线索是信息“PBS:工作被杀”

在这里进行少量的互联网搜索表明,您正在以某种方式使用PBS调度程序(),这会扼杀您的工作。(我以前从未见过有人使用PBS,但基于上述信息,这一切似乎都很有可能。)

由于PBS告诉您限制为32核,我建议您尝试指定一个小于该值的值。也许使用
h2o.init(nthreads=30)
PBS将不再终止您的进程。

似乎有40个核(h2o簇总核数:40 h2o)您是否尝试过h2o.init(nthreads=32)似乎有40个核(h2o簇总核数:40 h2o)您尝试过h2o.init(nthreads=32)