Hive 在配置单元中使用多级分区
我想知道是否可能做到以下几点。我在配置单元中有按日期和记录器划分的数据,但也有不属于特定记录器的数据 e、 g 我使用以下工具创建了我的表:Hive 在配置单元中使用多级分区,hive,partitioning,Hive,Partitioning,我想知道是否可能做到以下几点。我在配置单元中有按日期和记录器划分的数据,但也有不属于特定记录器的数据 e、 g 我使用以下工具创建了我的表: create table mytable ( ... ) partitioned by (date string, logger int) .... ; 并添加了分区: alter table mytable add partition (date='2012-01-01', logger=1) location '/user/me/date=2
create table mytable (
...
)
partitioned by (date string, logger int)
....
;
并添加了分区:
alter table mytable add partition (date='2012-01-01', logger=1) location '/user/me/date=2012-01-01/logger=1/';
...
我可以查询分区中的数据,但无法查询文件date=2012-01-01/part000
中的数据。是否可以在不符合分区的情况下包含此文件
谢谢你亚伦,你是如何获得这样的结构的?通常,如果缺少分区键,配置单元将创建名为的分区\uuuu配置单元\uu默认\uu分区 该结构是由于将最初未为配置单元进行分区的数据移动到配置单元中而产生的。
date=2012-01-01/part000中的数据与其他数据结构相同,但与记录器没有任何关联。我可能必须将它移动到默认的logger=0
,以使其适合配置单元。您必须这样做。文件夹结构必须符合表定义。德国劳埃德船级社!非常感谢。你最后的评论实际上就是答案,所以我接受这个答案。
alter table mytable add partition (date='2012-01-01', logger=1) location '/user/me/date=2012-01-01/logger=1/';
...