Hive 配置单元:如何避免在配置单元中创建空分区?

Hive 配置单元:如何避免在配置单元中创建空分区?,hive,partitioning,Hive,Partitioning,我在蜂箱中有一个表,它是按日期划分的。有时我无法获取某些日期的数据,但它仍然会在hive warehouse dir中创建空分区。可以避免在配置单元中创建空分区吗 谢谢 即使它创建了空分区,问题是什么?它在hive warehouse dir中创建了很多分区目录。如果我必须使用shell命令扫描目录,那么它也会打印空分区。空分区实际上很有用,它告诉你某个日期已处理,但没有数据,而不是根本没有处理/完成。加载方法是什么?插入覆盖分区不会创建空分区。最有可能的情况是,您正在使用LoadInPath分

我在蜂箱中有一个表,它是按日期划分的。有时我无法获取某些日期的数据,但它仍然会在hive warehouse dir中创建空分区。可以避免在配置单元中创建空分区吗


谢谢

即使它创建了空分区,问题是什么?它在hive warehouse dir中创建了很多分区目录。如果我必须使用shell命令扫描目录,那么它也会打印空分区。空分区实际上很有用,它告诉你某个日期已处理,但没有数据,而不是根本没有处理/完成。加载方法是什么?插入覆盖分区不会创建空分区。最有可能的情况是,您正在使用LoadInPath分区方法并传递空文件?在这种情况下,您应该在加载之前检查filesize>0(不包括头)。