Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 蜂箱中的分割和扣片_Hadoop_Hive_Hiveql_Hadoop Partitioning - Fatal编程技术网

Hadoop 蜂箱中的分割和扣片

Hadoop 蜂箱中的分割和扣片,hadoop,hive,hiveql,hadoop-partitioning,Hadoop,Hive,Hiveql,Hadoop Partitioning,我的配置单元表将包含呼叫记录数据。 表中的3列为字段1-呼叫日期,字段2-从电话号码,字段3-到电话号码 我想问一下 1) 我想获取特定日期之间的所有通话记录。 2) 我想获取特定日期之间FROM_电话号码的所有通话记录。 2) 我想获取特定日期之间to_电话号码的所有通话记录 我的桌子大约是6TB 我可以知道我需要如何应用分区或bucketing来提高我所有查询的性能吗?您的要求总是在特定日期之间获取数据并对其进行过滤,所以表分区偏向于日期。 如何创建动态分区 您可以将分区键日期设置为yyyy

我的配置单元表将包含呼叫记录数据。 表中的3列为字段1-呼叫日期,字段2-从电话号码,字段3-到电话号码

我想问一下 1) 我想获取特定日期之间的所有通话记录。 2) 我想获取特定日期之间FROM_电话号码的所有通话记录。 2) 我想获取特定日期之间to_电话号码的所有通话记录

我的桌子大约是6TB


我可以知道我需要如何应用分区或bucketing来提高我所有查询的性能吗?

您的要求总是在特定日期之间获取数据并对其进行过滤,所以表分区偏向于日期。

如何创建动态分区

您可以将分区键日期设置为yyyymmdd


(比如--20170406,今天(2017年4月6日))

如果我想从与日期相关的通话记录中提取数据,我该如何加快查询速度。如果我理解您更正了“您想提取给定日期的通话记录”,那么如果数据按照应答单元中提到的日期进行分区,那么从返回和查询中获取数据会很快。。。