Java 将Hadoop块大小更改为小于最小块大小
如何将Hadoop块大小更改为低于默认最小块大小 此手册页()说明默认情况下,最小块大小或Java 将Hadoop块大小更改为小于最小块大小,java,hadoop,hdfs,block,Java,Hadoop,Hdfs,Block,如何将Hadoop块大小更改为低于默认最小块大小 此手册页()说明默认情况下,最小块大小或dfs.namenode.fs limits.min块大小设置为1048576(1 MB)。但是,当我在hdfs site.xml中将其更改为小于该值的任何值(例如100 KB)时,同时我将dfs.blocksize更改为200 KB(仍然大于修改后的最小块大小),我仍然会得到错误,即dfs.blocksize不能小于1048576的最小块大小 另外,我正在使用Hadoop 2.7.1,以防万一。您应该在h
dfs.namenode.fs limits.min块大小
设置为1048576(1 MB)。但是,当我在hdfs site.xml
中将其更改为小于该值的任何值(例如100 KB)时,同时我将dfs.blocksize
更改为200 KB(仍然大于修改后的最小块大小),我仍然会得到错误,即dfs.blocksize
不能小于1048576的最小块大小
另外,我正在使用Hadoop 2.7.1,以防万一。您应该在
hdfs site.xml
中添加属性,而不是在hdfs default.xml
中添加属性。添加属性并重新启动namenode,然后重试。我的错,我的意思是我在hdfs-site.xml上尝试了它,而不是hdfs-default.xml。您是否尝试重新启动hadoop服务,然后运行作业?我尝试重新启动服务,但它仍然显示dfs.blocksize<1048576。尽管如此,我还是将最小块大小设置为100KB。