Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 2通过API提供的免费容器数量_Hadoop_Hadoop2 - Fatal编程技术网

Hadoop 2通过API提供的免费容器数量

Hadoop 2通过API提供的免费容器数量,hadoop,hadoop2,Hadoop,Hadoop2,有没有办法通过JavaAPI获得Hadoop2中可用容器的数量 我之所以要这样做,是为了检查我要处理的数据是否适合当前的群集配置。这个数字不是静态的(已知的)吗?或者,也许,您想同时运行多个作业..?我想在不同的集群上运行我们的算法,然后根据可用容器的数量来做出决定OK。我没有答案,但是在运行hadoop命令时使用-D parameter=value选项并从shell获取集群统计信息可能会更容易。例如,您可以这样设置减速器的数量。@vefthym您知道如何从shell获取这些参数吗?在我们的系统

有没有办法通过JavaAPI获得Hadoop2中可用容器的数量


我之所以要这样做,是为了检查我要处理的数据是否适合当前的群集配置。

这个数字不是静态的(已知的)吗?或者,也许,您想同时运行多个作业..?我想在不同的集群上运行我们的算法,然后根据可用容器的数量来做出决定OK。我没有答案,但是在运行hadoop命令时使用
-D parameter=value
选项并从shell获取集群统计信息可能会更容易。例如,您可以这样设置减速器的数量。@vefthym您知道如何从shell获取这些参数吗?在我们的系统中,减缩器的数量是自动计算的。我想smth应该获得集群中的#节点(从主节点的“从属”文件),然后,假设所有节点都有相同的Conf,从从属节点获得允许运行的最大任务数。再想一想,这似乎太复杂(愚蠢),所以请等待另一个有效的答案。。对不起,祝你好运!