如何在新的Hadoop api中更改FileSplit大小

如何在新的Hadoop api中更改FileSplit大小,hadoop,mapreduce,hadoop2,Hadoop,Mapreduce,Hadoop2,与新的Hadoop api一样,映射器的数量不能显式设置,我想将SplitSize更改为比默认值更小的数字,以便执行更多的映射器。在新的Hadoop api中如何实现这一点 我试过以下方法,但不起作用 conf.setLong(FileInputFormat.Split_MAXSIZE, 16 * 1024 * 1024) 它是mapreduce.input.fileinputformat.split.minsize。如果不起作用,请分享您的代码,我会看一看。您必须根据需要更改以下参数 ma

与新的Hadoop api一样,映射器的数量不能显式设置,我想将SplitSize更改为比默认值更小的数字,以便执行更多的映射器。在新的Hadoop api中如何实现这一点

我试过以下方法,但不起作用

 conf.setLong(FileInputFormat.Split_MAXSIZE, 16 * 1024 * 1024)

它是
mapreduce.input.fileinputformat.split.minsize
。如果不起作用,请分享您的代码,我会看一看。

您必须根据需要更改以下参数

mapreduce.input.fileinputformat.split.minsize


有关更多详细信息,请查看此项。

我在代码中设置了此值,但它似乎无效!你的hadoop版本是什么?我在hadoop 2.x版本中提供了参数。您是否更改了配置文件?如果这不起作用,那么在执行jar时从命令行传递这些值。从命令行传递这些值是可行的,但是当我以编程方式设置它们时,它不起作用,我需要以编程方式设置它们。我应该设置这两个参数吗?因为我只设置了max参数?对于您的要求,max就足够了。在配置文件中设置最小值,该值对所有作业通用
mapreduce.input.fileinputformat.split.maxsize