Hadoop 在哪里放置oozie.launcher.*配置?

Hadoop 在哪里放置oozie.launcher.*配置?,hadoop,oozie,Hadoop,Oozie,在尝试正确使用Oozie时,我设置了几个参数,即: oozie.launcher.mapreduce.map.memory.mb oozie.launcher.mapreduce.map.java.opts oozie.launcher.warn.app.mapreduce.am.resource.mb oozie.launcher.mapred.job..queue.name 如果我在worfklow配置中设置它们,它们将按预期工作 是否有一种方法/位置可以全局设置它们,即不按工作流设置?

在尝试正确使用Oozie时,我设置了几个参数,即:

  • oozie.launcher.mapreduce.map.memory.mb
  • oozie.launcher.mapreduce.map.java.opts
  • oozie.launcher.warn.app.mapreduce.am.resource.mb
  • oozie.launcher.mapred.job..queue.name
如果我在worfklow配置中设置它们,它们将按预期工作

是否有一种方法/位置可以全局设置它们,即不按工作流设置?我原以为custom-oozie-site.xml会是正确的位置,但显然不是(如果放在那里就没有效果)。工作流本身是唯一可以配置它们的地方吗


如果相关的话,我使用的是HDP2.5。

在文档的Oozie工作流参数化部分,他们说

工作流应用程序可以为工作流作业参数定义默认值。它们必须在与工作流应用程序存档绑定的config-default.xml文件中定义。。。工作流作业属性优先于默认值

我看到的另一个选项是定义父工作流定义并传播到子工作流。诚然,这只在特定情况下有效,并不总是一个好主意

此外,请参阅“工作流部署”部分中的文档说明

config-default.xml文件定义工作流作业参数的默认值(如果有)。此文件必须为Hadoop配置XML格式。不支持EL表达式,并且无法在此文件中指定user.name属性。从工作流操作节点引用的任何其他资源(如job.xml文件)必须包含在相应的路径下,相对路径始终从工作流应用程序的根开始


这是我的团队目前正在尝试解决的12个不同ETL负载的问题。

Oozie服务必须提供一些标准Hadoop配置文件,例如
mapred site.xml
,才能与Thread通信。您是否尝试编辑这些文件以更改默认的
mapred.job.queue.name
,并查看重新启动Oozie后会发生什么?我(最终)也发现了这一点,但据我所知,每个工作流仍然需要绑定此文件,hadoop管理员无法设置智能全局默认值。