Hadoop 如何控制配置单元作业名称但保留阶段信息?

Hadoop 如何控制配置单元作业名称但保留阶段信息?,hadoop,hive,Hadoop,Hive,我的系统定期执行许多配置单元查询。当您查看“工作跟踪器”时,它们显示为“选择字段,其他_字段…(阶段1)”和类似内容。这对我没什么帮助,所以我补充说: set mapred.job.name=更有用的名称; 对查询进行修改。现在我可以更好地分辨它们了。然而,现在我的查询被分为多个阶段,它们都显示为相同的名称。理想情况下,我想要的是类似以下内容的内容:set mapred.job.name=更有用的名称(阶段-%d); 其中%d将被当前阶段编号替换。 这可能吗?有人知道怎么做吗?我不确定是否有

我的系统定期执行许多配置单元查询。当您查看“工作跟踪器”时,它们显示为“选择字段,其他_字段…(阶段1)”和类似内容。这对我没什么帮助,所以我补充说:

set mapred.job.name=更有用的名称;

对查询进行修改。现在我可以更好地分辨它们了。然而,现在我的查询被分为多个阶段,它们都显示为相同的名称。理想情况下,我想要的是类似以下内容的内容:set mapred.job.name=更有用的名称(阶段-%d);
其中%d将被当前阶段编号替换。

这可能吗?有人知道怎么做吗?

我不确定是否有办法实现您的愿望,但我可以提供一些其他的东西。
不必使用
set mapred.job.name
,您可以在查询的开头添加一条注释,并使用
更有用的名称,如下所示:
——这是一个更有用的名称
选择字段、其他字段……

然后,在jobtracker中,您将看到
——这是一个更有用的名称。。。。。(阶段-%d)

我找到了这个网站:

其上有一个属性,名为:
hive.query.string

因此,
set-hive.query.string=更有用的名称应该可以工作


这对我来说非常有效。

我知道这是一个非常晚的答复,但无论如何,如果这有助于让我知道

这是因为配置单元不允许在运行时设置某些参数。 如果仍要设置,请执行以下步骤:

  • 以管理员身份登录到Ambari UI
  • 转到配置单元
  • 打开自定义HiveSite.xml
  • 添加以下键值对
    KEY:hive.security.authorization.sqlstd.confwhitelist.append
    值:mapred.job.name
  • 重新启动配置单元服务

  • 你可以在这个配置中找到任何一个键值对,你会得到这个运行时错误

    我给了你一个向上的投票,因为,好吧,这很聪明,但是我会尝试在这个上面坚持更长一点。谢谢你的想法。