Hive 配置单元查询记录已处理计数

Hive 配置单元查询记录已处理计数,hive,hiveql,Hive,Hiveql,我想知道一个查询在配置单元中处理了多少条记录或处理了%的记录以获取结果 我试图描述格式化的查询,但无法执行 描述格式化的select*from sample使用explain命令: explain extended select * from sample 但计划中的行数是从统计数据中获取的,因为查询尚未实际执行。已处理的行数只有在执行后才能知道 请参见此处的手册: 命令完成后日志中的计数器如下所示: Counters=FileSystemCounters.FILE_BYTES_READ:16

我想知道一个查询在配置单元中处理了多少条记录或处理了%的记录以获取结果

我试图描述格式化的查询,但无法执行

描述格式化的select*from sample

使用explain命令:

explain extended select * from sample
但计划中的行数是从统计数据中获取的,因为查询尚未实际执行。已处理的行数只有在执行后才能知道

请参见此处的手册:

命令完成后日志中的计数器如下所示:

Counters=FileSystemCounters.FILE_BYTES_READ:165364556525,
FileSystemCounters.FILE_BYTES_WRITTEN:398475913171,
FileSystemCounters.FILE_READ_OPS:0,
FileSystemCounters.FILE_LARGE_READ_OPS:0,
FileSystemCounters.FILE_WRITE_OPS:0,
FileSystemCounters.HDFS_BYTES_READ:2403609087417,
FileSystemCounters.HDFS_BYTES_WRITTEN:2401487507859,
FileSystemCounters.HDFS_READ_OPS:185667,
FileSystemCounters.HDFS_LARGE_READ_OPS:0 HIVE.RECORDS_IN:204428194,
HIVE.RECORDS_OUT_0:63070586,
HIVE.RECORDS_OUT_1_schema.table_name:39980068,
HIVE.RECORDS_OUT_INTERMEDIATE:126141195,
HIVE.SKEWJOINFOLLOWUPJOBS:0,
Shuffle Errors.BAD_ID:0,Shuffle 

谢谢你的回复,我可以在查询后在日志的任何地方得到这个计数吗executions@kiran如果您正在执行select,则会显示:所用时间:0.302秒,最后获取:1行。如果您正在插入表,则表示正在将数据加载到表示例统计数据:[numFiles=1,numRows=0,totalSize=0,rawDataSize=0]尝试打开统计数据收集:set hive.stats.autogather=true;我正在寻找已处理的总行查询,以获取该1行,在下面的链接中,我可以看到两个不同的字段,如“MAP\u INPUT\u RECORD”和“MAP\u OUTPUT\u RECORDS”。这里我猜上面的1指的是映射输出记录。如何获取输入记录作业执行日志中存在一个@kiran AFAIK计数器,可以对其进行解析。无法从配置单元访问计数器。@日志中的kiran计数器看起来像:“计数器=FileSystemCounters.FILE_BYTES_READ:165364556525,FileSystemCounters.FILE_BYTES_WRITE:398475913171,FileSystemCounters.FILE_READ_OPS:0,FileSystemCounters.FILE_LARGE_READ_OPS:0,FileSystemCounters.FILE_WRITE_OPS:0,FileSystemCounters.HDFS_BYTES_READ:2403609087417,FileSystemCounters.HDFS_BYTES_write:2401487507859,FileSystemCounters.HDFS_READ_OPS:185667,FileSystemCounters.HDFS_LARGE_READ_OPS:0'等等。