Configuration 是否更改Hadoop从属节点上的默认配置?
目前,我正试图通过命令行参数传递一些值,然后使用GenericOptionsParser和实现的工具对其进行解析 从主节点,我运行如下内容:Configuration 是否更改Hadoop从属节点上的默认配置?,configuration,hadoop,default,Configuration,Hadoop,Default,目前,我正试图通过命令行参数传递一些值,然后使用GenericOptionsParser和实现的工具对其进行解析 从主节点,我运行如下内容: bin/hadoop jar MYJAR.jar MYJOB -D mapred.reduce.tasks=13 但这只适用于大师!!有没有办法让这也适用于奴隶 我使用Hadoop 0.20.203 非常感谢您的帮助。但这只适用于主机!!有没有办法将此应用于从机? 据报道。在客户端设置某些属性是没有用的。您需要在配置文件中设置相同的设置。请注意,您还可以
bin/hadoop jar MYJAR.jar MYJOB -D mapred.reduce.tasks=13
但这只适用于大师!!有没有办法让这也适用于奴隶
我使用Hadoop 0.20.203
非常感谢您的帮助。但这只适用于主机!!有没有办法将此应用于从机? 据报道。在客户端设置某些属性是没有用的。您需要在配置文件中设置相同的设置。请注意,您还可以在配置文件中创建新属性,并使用配置对象在代码中读取它们 请注意,在客户端配置中设置某些属性时,这些属性无效。对于 例如,如果在作业提交中使用 如果期望它会改变运行您的作业的TaskTracker的任务槽数量,那么您会感到失望,因为这个属性只会被尊重 如果在tasktracker的mapred-site.html文件中设置。通常,您可以告诉组件 属性应按其名称设置,因此mapred.task.tracker.map.tasks.maximum以mapred.tasktracker开头这一事实为您提供了一个线索,即只能为tasktracker守护程序设置该属性。然而,这并不是一条硬性规定,因此在某些情况下,您可能需要尝试错误,甚至阅读源代码 您还可以使用conf/Hadoop-env.sh文件中的配置来配置Hadoop变量的环境 同样地,根据报告 不要将使用-D property=value选项为GenericOptionsParser(和ToolRunner)设置Hadoop属性与使用-Dproperty=value选项为java命令设置JVM系统属性混淆。JVM系统属性的语法不允许在D和属性名之间有任何空格,而GenericOptions Parser要求用空格分隔它们 JVM系统属性从java.lang.system类检索,而Hadoop属性只能从配置对象访问
谢谢Praveen,所以我想我必须手动编辑所有文件。是否可以将Hadoop放在共享文件夹中?在这种情况下,我应该关心什么?我的局域网中有一个共享文件夹,我将尝试使用它。我还没有尝试过。但是,我认为您应该能够将配置文件放在一个共享文件夹中,并在所有从机上挂载该文件夹。但不确定它的效率有多高。