Hive 配置单元:插入覆盖目录限制每个零件文件的大小

Hive 配置单元:插入覆盖目录限制每个零件文件的大小,hive,hiveql,Hive,Hiveql,我正在处理以下配置单元查询的输出: INSERT OVERWRITE DIRECTORY '/main_directory/table' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT * FROM table; 在Python中,一次一个零件文件。但是,有些文件太大,Python脚本由于内存错误而失败。 因此,我需要将每个输出部件文件的大小限制为~300MB或~250K行

我正在处理以下配置单元查询的输出:

INSERT OVERWRITE DIRECTORY '/main_directory/table' 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT * FROM table;
在Python中,一次一个零件文件。但是,有些文件太大,Python脚本由于内存错误而失败。 因此,我需要将每个输出部件文件的大小限制为~300MB或~250K行