Hadoop h2o在纱线上起动不起作用
当我在cdh集群上启动H2o时,我得到以下错误。我下载了wbesite的所有内容,并按照教程进行操作。我执行的命令是Hadoop h2o在纱线上起动不起作用,hadoop,yarn,h2o,Hadoop,Yarn,H2o,当我在cdh集群上启动H2o时,我得到以下错误。我下载了wbesite的所有内容,并按照教程进行操作。我执行的命令是 hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName 这表明容器没有被使用。现在还不清楚这些在hadoop上是什么设置。我已经给出了所有设置的内存。对于内存来说,0.0是没有意义的,为什么容器不使用内存呢。集群现在正在运行吗 ----- YARN cluster metrics -
hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName
这表明容器没有被使用。现在还不清楚这些在hadoop上是什么设置。我已经给出了所有设置的内存。对于内存来说,0.0是没有意义的,为什么容器不使用内存呢。集群现在正在运行吗
----- YARN cluster metrics -----
Number of YARN worker nodes: 3
----- Nodes -----
Node: http://data-node-3:8042 Rack: /default, RUNNING, 1 containers used, 1.0 / 6.0 GB used, 1 / 4 vcores used
Node: http://data-node-1:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
Node: http://data-node-2:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
----- Queues -----
Queue name: root.default
Queue state: RUNNING
Current capacity: 0.00
Capacity: 0.00
Maximum capacity: -1.00
Application count: 0
Queue 'root.default' approximate utilization: 0.0 / 0.0 GB used, 0 / 0 vcores used
----------------------------------------------------------------------
WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)
----------------------------------------------------------------------
For YARN users, logs command is 'yarn logs -applicationId application_1462681033282_0008'
您应该设置默认队列,使其具有运行2节点群集的可用资源 请参阅警告:
警告:作业内存请求(2.2 GB)超过队列可用内存容量(0.0 GB)
- 您要求每个节点1GB(+开销),但队列中没有可用资源
警告:作业虚拟核心请求(2)超过队列可用虚拟核心容量(0)
- 您请求2个虚拟核心,但默认队列中没有可用的核心
我在Cloudera Manager配置中做了以下更改
Setting Value
yarn.scheduler.maximum-allocation-vcores 8
yarn.nodemanager.resource.cpu-vcores 4
yarn.nodemanager.resource.cpu-vcores 4
yarn.scheduler.maximum-allocation-mb 16 GB
到底要做哪些调整还不清楚。我已经调整了所有这些xml值,没有任何差异。看起来还可以,但仍然失败吗?您应该执行此命令以查看详细信息:纱线日志-applicationId application_146268103282_0008