Hadoop 配置单元中的maxCombinedSplitSize属性?
pig中有一个名为 “pig.maxCombinedSplitSize”–指定单个映射要处理的数据的大小(以字节为单位)。合并较小的文件,直到达到此大小 配置单元中是否有类似的属性用于指定单个映射要处理的数据的大小 我正在尝试下面的命令,但它不起作用Hadoop 配置单元中的maxCombinedSplitSize属性?,hadoop,hive,hiveql,hive-configuration,Hadoop,Hive,Hiveql,Hive Configuration,pig中有一个名为 “pig.maxCombinedSplitSize”–指定单个映射要处理的数据的大小(以字节为单位)。合并较小的文件,直到达到此大小 配置单元中是否有类似的属性用于指定单个映射要处理的数据的大小 我正在尝试下面的命令,但它不起作用 'SET hive.maxCombinedSplitSize=64mb'; 有什么建议吗?试试这个: set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputForma
'SET hive.maxCombinedSplitSize=64mb';
有什么建议吗?试试这个:
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapred.min.split.size=67108864;