Hive 如何将配置单元分区数据合并到一个大文件中？
我已按日期和小时列对配置单元表进行分区。当我加载数据时，我将创建24个文件。我想把这24个文件合并成一个文件。有人能给我推荐解决方案吗？如果您想在将数据插入分区文件时拥有一个文件，那么您可以按照如下方式拥有您的配置单元：Hive 如何将配置单元分区数据合并到一个大文件中？,hive,hadoop-partitioning,merging-data,Hive,Hadoop Partitioning,Merging Data,我已按日期和小时列对配置单元表进行分区。当我加载数据时，我将创建24个文件。我想把这24个文件合并成一个文件。有人能给我推荐解决方案吗？如果您想在将数据插入分区文件时拥有一个文件，那么您可以按照如下方式拥有您的配置单元： 按日期分割 扣在任何一根立柱上，只有一个铲斗 由于您的bucket编号为1，因此插入后所有数据都将在文件中 另一种方法是使用如下hdfs命令合并它 hadoop fs -cat hive_table_data_folder/p* > new_file_name 如果
- 按日期分割
- 扣在任何一根立柱上，只有一个铲斗
hadoop fs -cat hive_table_data_folder/p* > new_file_name
如果您希望在将数据插入分区文件时拥有一个文件，那么您可以按如下方式拥有您的配置单元：
- 按日期分割
- 扣在任何一根立柱上，只有一个铲斗
hadoop fs -cat hive_table_data_folder/p* > new_file_name