Hadoop 配置单元查询失败,出现错误此作业的任务数31497超过配置的限制30000

Hadoop 配置单元查询失败,出现错误此作业的任务数31497超过配置的限制30000,hadoop,hive,Hadoop,Hive,我在一个有2250个分区的表上运行一个配置单元查询,我得到了这个错误,我不确定它超出了哪些任务以及如何修复它。谢谢 配置单元历史记录文件=/tmp/hadoop/Hive\u job\u log\u hadoop\u 201310040052\u 1692176679.txt MapReduce作业总数=2 正在启动作业1(共2个) 未指定reduce任务数。根据输入数据大小估算:10 要更改减速器的平均负载(以字节为单位): 设置hive.exec.reducers.bytes.per.red

我在一个有2250个分区的表上运行一个配置单元查询,我得到了这个错误,我不确定它超出了哪些任务以及如何修复它。谢谢

配置单元历史记录文件=/tmp/hadoop/Hive\u job\u log\u hadoop\u 201310040052\u 1692176679.txt MapReduce作业总数=2 正在启动作业1(共2个) 未指定reduce任务数。根据输入数据大小估算:10 要更改减速器的平均负载(以字节为单位): 设置hive.exec.reducers.bytes.per.reducer= 为了限制减速器的最大数量: 设置hive.exec.reducers.max= 为了设置恒定数量的减速器: 设置mapred.reduce.tasks= org.apache.hadoop.ipc.RemoteException:java.io.IOException:java.io.IOException:此作业的任务数31497超出了配置的限制30000 位于org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3943) 位于sun.reflect.GeneratedMethodAccessor19.invoke(未知源) 在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)中 位于java.lang.reflect.Method.invoke(Method.java:601) 位于org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563) 位于org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388) 位于org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384) 位于java.security.AccessController.doPrivileged(本机方法) 位于javax.security.auth.Subject.doAs(Subject.java:415) 位于org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093) 位于org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382) 原因:java.io.IOException:此作业的任务数31497超出了配置的限制30000 位于org.apache.hadoop.mapred.JobInProgress.checkTaskLimits(JobInProgress.java:509) 位于org.apache.hadoop.mapred.JobInProgress(JobInProgress.java:485) 位于org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3941)
... 另外10个

在您的mapred site.xml中添加属性mapred.jobtracker.maxtasks.per.job,并将其设置为高于31497的值或任何您需要的值进行更改后重新启动守护进程。

mapred site.xml中添加属性mapred.jobtracker.maxtasks.per.job,并将其设置为高于31497的值或您需要的任何值进行更改后重新启动守护进程