Hadoop 目标副本为10个,但找到3个副本
我怎样才能解决这个问题Hadoop 目标副本为10个,但找到3个副本,hadoop,filesystems,hdfs,yarn,fsck,Hadoop,Filesystems,Hdfs,Yarn,Fsck,我怎样才能解决这个问题 /tmp/hadoop-yarn/staging/ubuntu/.staging/job_1450038005671_0025/job.jar: Under replicated BP-938294433-10.0.1.190-1450037861153:blk_1073744219_3398. Target Replicas is 10 but found 3 replica(s). 当我在主节点中运行hadoop fsck/时,我得到了这个结果。 我假设我应该更改c
/tmp/hadoop-yarn/staging/ubuntu/.staging/job_1450038005671_0025/job.jar: Under replicated BP-938294433-10.0.1.190-1450037861153:blk_1073744219_3398. Target Replicas is 10 but found 3 replica(s).
当我在主节点中运行hadoop fsck/
时,我得到了这个结果。
我假设我应该更改conf中的.xml
文件或类似的文件,我只是不知道要更改哪个文件
请注意,
hdfs site.xml
中的dfs.replication
已设置为3。我的hdfs site.xml
文件中没有dfs.replication.max
。hdfs配置文件hdfs site.xml
应包含dfs.replication
属性,该属性描述块复制因子:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
dfs.replication
3.
默认的
hdfs site.xml
位置是/etc/hadoop/hdfs site.xml
您可以忽略/tmp/hadoop-thread/staging/ubuntu/.staging/job_1450038005671_0025/job.jar,它是一个作业资源。dfs.replication对作业资源没有影响
此功能有助于在处理数据时实现数据局部性(其中代码指向数据)。作为作业一部分提交的文件(JAR等)的复制计数由参数
mapreduce.client.submit.file.replication
(或mapre 2.4集群中的mapred.submit.replication
控制)在mapred-site.xml中。对于小于10个节点的集群,您可以将其调低,或者忽略来自fsck的消息
FWIW,这有一个错误,但我怀疑它是否会工作。在该文件中设置为3,因此我不确定为什么会出现此错误!?这已经是另一个问题:)尝试在配置文件中将dfs.replication.max
属性设置为3。请查看更新。我的hdfs site.xml
中没有dfs.replication.max
作为属性。