Java 如何强制清管器增加地图数量

Java 如何强制清管器增加地图数量,java,hadoop,apache-pig,Java,Hadoop,Apache Pig,我有一个高度并行化的任务。在hadoop中,我可以编写一个使用所有服务器容量的任务。然而,猪只运行一个地图 这个任务非常简单,我总共加载了一组120k的int,然后在一个udf中分别处理它们。差不多 LOAD data as (id:int); result = foreach data generate udf.myFunction(id); STORE result ...; Pig将根据输入大小估算拆分量->映射器数量 可以减小“最大分割大小”以获得更多贴图器 SET mapred.ma

我有一个高度并行化的任务。在hadoop中,我可以编写一个使用所有服务器容量的任务。然而,猪只运行一个地图

这个任务非常简单,我总共加载了一组120k的int,然后在一个udf中分别处理它们。差不多

LOAD data as (id:int);
result = foreach data generate udf.myFunction(id);
STORE result ...;

Pig将根据输入大小估算拆分量->映射器数量

可以减小“最大分割大小”以获得更多贴图器

SET mapred.max.split.size #bytes