Hadoop 配置单元:为现有文件夹结构添加分区
我在HDFS中有一个文件夹结构,如下所示。但是,使用Hadoop 配置单元:为现有文件夹结构添加分区,hadoop,hive,hdfs,partitioning,hive-partitions,Hadoop,Hive,Hdfs,Partitioning,Hive Partitions,我在HDFS中有一个文件夹结构,如下所示。但是,使用altertableaddpartition命令实际上没有在表上创建分区,即使文件夹结构的设置与表有分区一样 如何将所有分区自动添加到配置单元表?(Hive 1.0,外部表格) 使用msck修复表命令: MSCK [REPAIR] TABLE tablename; 或 如果您正在EMR上运行Hive 在这里阅读这两个命令的更多详细信息:好的,这比编写bash/beeline脚本更好。使用此方法定期获取新分区是否有任何缺点?@LifeytheD
altertableaddpartition
命令实际上没有在表上创建分区,即使文件夹结构的设置与表有分区一样
如何将所有分区自动添加到配置单元表?(Hive 1.0,外部表格)
使用msck修复表命令:
MSCK [REPAIR] TABLE tablename;
或
如果您正在EMR上运行Hive
在这里阅读这两个命令的更多详细信息:好的,这比编写bash/beeline脚本更好。使用此方法定期获取新分区是否有任何缺点?@LifeytheDrop使用alter table add partition仅添加新添加的分区可能会更快一些,因为它不会扫描所有表目录并获取所有分区元数据以与已添加的相比较。还可以使用ALTERTABLEADDPARTITION在表位置之外添加分区。若您不需要添加位于表位置之外的分区,则recover可以正常工作。
MSCK [REPAIR] TABLE tablename;
ALTER TABLE tablename RECOVER PARTITIONS;