如何添加存储在oozie项目之外的jar文件';s./lib文件夹?

如何添加存储在oozie项目之外的jar文件';s./lib文件夹?,oozie,Oozie,我正在编写一个oozie java操作,它在job/lib文件夹中的jar文件中包含我的自定义代码 我还想在类路径中添加一个jar,该jar位于我的作业外部的文件夹中(即/home/me/otherjars/spark assembly.jar) /lib文件夹会自动添加到类路径中。如何让oozie也添加外部jar?您肯定需要oozie.libpath属性。请检查 这与该属性的全局/局部范围有关 这是关于优先顺序的(搜索该顺序) 短语) 例如,这个和这个 在Oozie使用中使用任何自定义Ja

我正在编写一个oozie java操作,它在job
/lib
文件夹中的jar文件中包含我的自定义代码

我还想在类路径中添加一个jar,该jar位于我的作业外部的文件夹中(即
/home/me/otherjars/spark assembly.jar


/lib
文件夹会自动添加到类路径中。如何让oozie也添加外部jar?

您肯定需要
oozie.libpath
属性。请检查

  • 这与该属性的全局/局部范围有关
  • 这是关于优先顺序的(搜索该顺序) 短语)
  • 例如,这个和这个

在Oozie使用中使用任何自定义Jar的最佳方式,一旦Oozie Sharedlib安装在集群中,您可以提到将Jar放置在子文件夹中并传递参数

oozie.use.system.libpath = true
当每个作业开始时,这些将调用Jar

您可以使用的另一个选项是在hadoop类路径下的hadoop_env.sh文件中添加带有UDF jar的自定义路径,这需要您重新启动hadoop才能生效,同时还需要您在hadoop集群的所有节点中都可以使用自定义jar路径