Hadoop 避免"；此作业的任务数100325超出了配置的限制；错误

我每周都会在生产集群上运行一个Pig脚本。 在上一次运行中，我遇到了以下错误

org.apache.pig.backend.executionengine.ExecException: ERROR 6017: Job failed! Error - Job   initialization failed:
java.io.IOException: The number of tasks for this job 100325 exceeds the configured limit 100000
    at org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:719)
    at org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:4041)

我试图在Pig属性中将mapred.jobtracker.maxstasks.per.job设置为100000，但没有成功

有没有办法限制我的工作，让我创建的地图绘制者少于100000人

---

谢谢

尝试摆弄拆分大小系统属性，通过将

mapred.min.split.size

设置为相当大的值，您应该会得到更少的映射器。现在，如果您有100325个文件，则需要使用

CombineFileInputFormat