Hadoop 在配置单元中运行查询时如何更改Tez作业名称

Hadoop 在配置单元中运行查询时如何更改Tez作业名称,hadoop,hive,apache-pig,Hadoop,Hive,Apache Pig,当我使用Tez提交配置单元SQL时,如下所示: hive (default)> select count(*) from simple_data; 在资源管理器UI中,作业名称显示类似于HIVE-9d1906a2-25dd-4a7c-9ea3-bf651036c7eb是否有方法将作业名称更改为my_job_nam 如果我没有使用Tez并在MR中运行作业,我可以使用set mapred.job.name设置作业名称 我是否需要设置任何Tez参数来更改作业名称 欢迎任何输入。设置mapred

当我使用Tez提交配置单元SQL时,如下所示:

hive (default)> select count(*) from simple_data;
在资源管理器UI中,作业名称显示类似于
HIVE-9d1906a2-25dd-4a7c-9ea3-bf651036c7eb
是否有方法将作业名称更改为
my_job_nam

如果我没有使用Tez并在MR中运行作业,我可以使用
set mapred.job.name
设置作业名称

我是否需要设置任何Tez参数来更改作业名称


欢迎任何输入。

设置mapred.job.name=更有用的名称

好问题。Spark上的Hive有一个JIRA,你问的是一个非常类似的问题:-你可以在那里使用Spark.app.name;在蜂巢2.1中着陆

在Tez上找不到任何特定于Hive的内容。。也许有人需要提交一个类似于Hive-12811的Hive jira/补丁,但用于Tez。

您可以使用“set-hiveconf-Hive.query.name=myjobname”
但您只能在Tez视图中看到该名称。不是纱线。
请参阅下面的链接:


我也在研究这个问题。如果我找到了解决方案,我会更新问题

设置hive.query.name=“test\u query”


将与TEZ一起在蜂巢中工作

解决了这个问题。使用属性
hive.session.id
可以更改名称。下面是一个例子

hive --hiveconf hive.session.id=test_$(date '+%Y%m%d_%H%M%S') \
      -e "select month, max(sale) from simple_data group by month;"

最初的问题已经指出,如果不使用Tez,但希望使用Tez解决方案,则可能会出现这种情况。MR将为每个查询运行一个新作业;但TEZ将努力保持其“会话”开放,以避免一直取消分配和重新分配纱线容器。因此,您的问题是如何设置当前(或未来)的TEZ会话名称。请参见>>不幸的是,HIVE不知道TEZ是如何工作的,也没有具体的参数……顺便说一句:在Thread和TEZ作业(特别是OOZIE作业管理)中支持自定义标记的请求由来已久,但这些JIRAs没有显示出多大进展,请参见非常感谢Samson提供的信息。