Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Configuration 是否更改Hadoop从属节点上的默认配置?_Configuration_Hadoop_Default - Fatal编程技术网

Configuration 是否更改Hadoop从属节点上的默认配置?

Configuration 是否更改Hadoop从属节点上的默认配置?,configuration,hadoop,default,Configuration,Hadoop,Default,目前,我正试图通过命令行参数传递一些值,然后使用GenericOptionsParser和实现的工具对其进行解析 从主节点,我运行如下内容: bin/hadoop jar MYJAR.jar MYJOB -D mapred.reduce.tasks=13 但这只适用于大师!!有没有办法让这也适用于奴隶 我使用Hadoop 0.20.203 非常感谢您的帮助。但这只适用于主机!!有没有办法将此应用于从机? 据报道。在客户端设置某些属性是没有用的。您需要在配置文件中设置相同的设置。请注意,您还可以

目前,我正试图通过命令行参数传递一些值,然后使用GenericOptionsParser和实现的工具对其进行解析

从主节点,我运行如下内容:

bin/hadoop jar MYJAR.jar MYJOB -D mapred.reduce.tasks=13
但这只适用于大师!!有没有办法让这也适用于奴隶

我使用Hadoop 0.20.203


非常感谢您的帮助。

但这只适用于主机!!有没有办法将此应用于从机?

据报道。在客户端设置某些属性是没有用的。您需要在配置文件中设置相同的设置。请注意,您还可以在配置文件中创建新属性,并使用配置对象在代码中读取它们

请注意,在客户端配置中设置某些属性时,这些属性无效。对于 例如,如果在作业提交中使用 如果期望它会改变运行您的作业的TaskTracker的任务槽数量,那么您会感到失望,因为这个属性只会被尊重 如果在tasktracker的mapred-site.html文件中设置。通常,您可以告诉组件 属性应按其名称设置,因此mapred.task.tracker.map.tasks.maximum以mapred.tasktracker开头这一事实为您提供了一个线索,即只能为tasktracker守护程序设置该属性。然而,这并不是一条硬性规定,因此在某些情况下,您可能需要尝试错误,甚至阅读源代码

您还可以使用conf/Hadoop-env.sh文件中的配置来配置Hadoop变量的环境

同样地,根据报告

不要将使用-D property=value选项为GenericOptionsParser(和ToolRunner)设置Hadoop属性与使用-Dproperty=value选项为java命令设置JVM系统属性混淆。JVM系统属性的语法不允许在D和属性名之间有任何空格,而GenericOptions Parser要求用空格分隔它们

JVM系统属性从java.lang.system类检索,而Hadoop属性只能从配置对象访问


谢谢Praveen,所以我想我必须手动编辑所有文件。是否可以将Hadoop放在共享文件夹中?在这种情况下,我应该关心什么?我的局域网中有一个共享文件夹,我将尝试使用它。我还没有尝试过。但是,我认为您应该能够将配置文件放在一个共享文件夹中,并在所有从机上挂载该文件夹。但不确定它的效率有多高。