Java 如何强制清管器增加地图数量
我有一个高度并行化的任务。在hadoop中,我可以编写一个使用所有服务器容量的任务。然而,猪只运行一个地图 这个任务非常简单,我总共加载了一组120k的int,然后在一个udf中分别处理它们。差不多Java 如何强制清管器增加地图数量,java,hadoop,apache-pig,Java,Hadoop,Apache Pig,我有一个高度并行化的任务。在hadoop中,我可以编写一个使用所有服务器容量的任务。然而,猪只运行一个地图 这个任务非常简单,我总共加载了一组120k的int,然后在一个udf中分别处理它们。差不多 LOAD data as (id:int); result = foreach data generate udf.myFunction(id); STORE result ...; Pig将根据输入大小估算拆分量->映射器数量 可以减小“最大分割大小”以获得更多贴图器 SET mapred.ma
LOAD data as (id:int);
result = foreach data generate udf.myFunction(id);
STORE result ...;
Pig将根据输入大小估算拆分量->映射器数量 可以减小“最大分割大小”以获得更多贴图器
SET mapred.max.split.size #bytes