Hive 如何为配置单元查询子作业设置mapreduce作业名称?
我们的配置单元查询创建了9个map reduce作业和17个阶段(当我运行EXPLAIN命令时,输出显示了17个阶段和阶段依赖项)。 每个子作业都具有相同的Hive 如何为配置单元查询子作业设置mapreduce作业名称?,hive,mapreduce,hive-query,Hive,Mapreduce,Hive Query,我们的配置单元查询创建了9个map reduce作业和17个阶段(当我运行EXPLAIN命令时,输出显示了17个阶段和阶段依赖项)。 每个子作业都具有相同的mapreduce.job.name 要区分这些子作业,是否有任何方法可以在配置单元查询中设置mapreduce.job.name,以便可以看到每个作业的阶段。 所有9个子作业的现有作业名称: Job.Name : hive_query_map_reduce_job 有什么方法可以让我在job tracker中获得工作名称吗 Job.Nam
mapreduce.job.name
要区分这些子作业,是否有任何方法可以在配置单元查询中设置mapreduce.job.name
,以便可以看到每个作业的阶段。
所有9个子作业的现有作业名称:
Job.Name : hive_query_map_reduce_job
有什么方法可以让我在job tracker中获得工作名称吗
Job.Name : hive_query_map_reduce_job_stage_1
Job.Name : hive_query_map_reduce_job_stage_2
Job.Name : hive_query_map_reduce_job_stage_3
...
我提到了,但它没有按预期工作。
我尝试在查询中的多个位置使用不同的值设置mapreduce.job.name
,但所有子作业都使用我分配的最后一个值。
假设我的查询文件是hiveQuery.q
hiveQuery.q
设置hiveconf:mapreduce.job.name=“唯一名称1”。…
--一些查询语句
…
设置hiveconf:mapreduce.job.name=“唯一名称2”。
…
--一些查询语句
…
设置hiveconf:mapreduce.job.name=“唯一名称3” 对于上述查询,所有9个mapreduce作业都将
“unique name 3”
作为作业名称。
我还尝试了hive.query.name
和hive.query.string
,但这些都没有帮助。
这可能吗?有人知道如何做到这一点吗 这行吗?这行吗?