Hadoop 超出了JobConf大小
我有一个MapReduce作业，它使用了大量的输入路径。因此，我在启动作业时遇到此异常： 超出最大作业配置大小：6154861限制：5242880 我意识到最大jobconf大小由系统属性控制： mapred.user.jobconf.limit，默认为5 MBHadoop 超出了JobConf大小,hadoop,mapreduce,Hadoop,Mapreduce,我有一个MapReduce作业，它使用了大量的输入路径。因此，我在启动作业时遇到此异常： 超出最大作业配置大小：6154861限制：5242880 我意识到最大jobconf大小由系统属性控制： mapred.user.jobconf.limit，默认为5 MB 除了增加这个限制之外，还有什么办法可以避免这个问题吗？我不这么认为，除非您准备更改源代码本身。根据JobTracker的来源，如果用户未明确指定，则这是允许的最大值 /** the maximum allowed size of the
除了增加这个限制之外，还有什么办法可以避免这个问题吗？我不这么认为，除非您准备更改源代码本身。根据JobTracker的来源，如果用户未明确指定，则这是允许的最大值
/** the maximum allowed size of the jobconf **/
long MAX_JOBCONF_SIZE = 5*1024*1024L;
/** the config key for max user jobconf size **/
public static final String MAX_USER_JOBCONF_SIZE_KEY = "mapred.user.jobconf.limit";
mapred.user.jobconf.limit5*1024*1024LMAX_JOBCONF_SIZE = conf.getLong(MAX_USER_JOBCONF_SIZE_KEY, MAX_JOBCONF_SIZE);
或者，如果可能，您可以尝试使用
DistributedCacheJobConfDistributedCacheJobConf