Hive 我们可以通过元数据提取在配置单元上运行的查询吗

Hive 我们可以通过元数据提取在配置单元上运行的查询吗,hive,hive-metastore,Hive,Hive Metastore,基本上,我需要在一天内在配置单元上运行的查询的元数据。我研究了MySql中hive提供的元数据。但是找不到任何存储查询相关信息的表。经过一些研究发现,我们可以使用History Server REST API for Hadoop提取MapReduce作业 从中你将获得与工作相关的信息 要获取查询,需要请求特定作业的conf /ws/v1/history/mapreduce/jobs//conf 从这里您将获得所有配置。 对于查询,您需要查看hive.query.string 我们还可以从hd

基本上,我需要在一天内在配置单元上运行的查询的元数据。我研究了MySql中hive提供的元数据。但是找不到任何存储查询相关信息的表。

经过一些研究发现,我们可以使用History Server REST API for Hadoop提取MapReduce作业

从中你将获得与工作相关的信息

要获取查询,需要请求特定作业的conf

/ws/v1/history/mapreduce/jobs//conf

从这里您将获得所有配置。 对于查询,您需要查看hive.query.string

我们还可以从hdfs位置提取作业的JSON和该作业的XML配置。为此,您需要mapreduce.jobhistory.done dir属性的值

然后启动hdfsget命令来获取数据

hdfs-dfs-get//