Hadoop 在CLI提交的作业中设置applicationTags属性

Hadoop 在CLI提交的作业中设置applicationTags属性,hadoop,yarn,Hadoop,Yarn,我想跟踪一些纱线的相关应用。它们通过命令行提交,例如 yarn jar hadoop-mapreduce-examples.jar pi 10 100 Python有一个返回以下内容的函数: finalStatus = SUCCEEDED id = application_1458083392566_0929 state = FINISHED name = QuasiMonteCarlo applicationType = MAPREDUCE user = awoolford applicat

我想跟踪一些纱线的相关应用。它们通过命令行提交,例如

yarn jar hadoop-mapreduce-examples.jar pi 10 100
Python有一个返回以下内容的函数:

finalStatus = SUCCEEDED
id = application_1458083392566_0929
state = FINISHED
name = QuasiMonteCarlo
applicationType = MAPREDUCE
user = awoolford
applicationTags = 
[...etc...]
我注意到有一个
applicationTags
属性。这将是跟踪相关应用程序组的理想方法。我试着通过HADOOP\u CLIENT\u OPTS设置它,例如

HADOOP_CLIENT_OPTS="-DapplicationTags=batch123,chunk62" hadoop jar [...etc...]
。。。但是当我试图通过Python客户端检索它们时,
applicationTags
字符串并没有出现在Thread中


Q) 如何从命令行提交纱线作业并填充
applicationTags
属性?

需要设置的属性称为
mapreduce.job.tags
(请参阅)。因此,对于calculate Pi MapReduce示例,您可以如下标记作业:

yarn jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.tags=myJobTag 10 100
这要归功于Cloudera,他们想出了如何做到这一点