Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/maven/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hive 配置单元解释计划在何处查看完整表扫描?_Hive_Hiveql_Explain - Fatal编程技术网

Hive 配置单元解释计划在何处查看完整表扫描?

Hive 配置单元解释计划在何处查看完整表扫描?,hive,hiveql,explain,Hive,Hiveql,Explain,如何从hive查看解释是否有完整的表格扫描 例如,是否有完整扫描? 表格大小为993行 问题是 explain从geohash='dp3twhjuyutr'所在的位置选择纬度、经度。 我在geohash列上有二级索引 STAGE PLANS: Stage: Stage-1 Map Reduce Map Operator Tree: TableScan alias: crimes

如何从hive查看解释是否有完整的表格扫描

例如,是否有完整扫描? 表格大小为993行

问题是

explain从geohash='dp3twhjuyutr'所在的位置选择纬度、经度。

我在
geohash
列上有二级索引

STAGE PLANS:
      Stage: Stage-1
        Map Reduce
          Map Operator Tree:
              TableScan
                alias: crimes
                filterExpr: (geohash = 'dp3twhjuyutr') (type: boolean)
                Statistics: Num rows: 993 Data size: 265582 Basic stats: COMPLETE Column stats: NONE
                Filter Operator
                  predicate: (geohash = 'dp3twhjuyutr') (type: boolean)
                  Statistics: Num rows: 496 Data size: 132657 Basic stats: COMPLETE Column stats: NONE
                  Select Operator
                    expressions: latitude (type: double), longitude (type: double)
                    outputColumnNames: _col0, _col1
                    Statistics: Num rows: 496 Data size: 132657 Basic stats: COMPLETE Column stats: NONE
                    File Output Operator
                      compressed: false
                      Statistics: Num rows: 496 Data size: 132657 Basic stats: COMPLETE Column stats: NONE
                      table:
                          input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                          output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                          serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink
  • 计划中缺少分区谓词意味着完全扫描。当然,这与ORC中的谓词下推无关
  • 检查每个运算符中的数据大小和行数
  • 将显示所有
    input\u分区
    集合,您可以检查要扫描的内容

  • 请看问题的编辑部分。感谢you@Markiza您的索引未在计划中使用。此外,表太小,使用配置单元索引是不必要的开销。此外,配置单元索引是一个有点过时的概念。不要使用配置单元索引,如果适用,请使用ORC和分区。ORC有内置的索引,您不需要管理它们,在ORC的情况下,它会自动完成。当前您使用的是序列文件格式。阅读以下内容:谢谢,我的目标只是尝试在工作中使用索引并检查执行计划,所以在我的计划中它是一个完整的扫描,对吗?是的,我知道,索引在第三个配置单元中被删除。@Markiza对。是的。