Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ionic-framework/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 目标副本为10个,但找到3个副本_Hadoop_Filesystems_Hdfs_Yarn_Fsck - Fatal编程技术网

Hadoop 目标副本为10个,但找到3个副本

Hadoop 目标副本为10个,但找到3个副本,hadoop,filesystems,hdfs,yarn,fsck,Hadoop,Filesystems,Hdfs,Yarn,Fsck,我怎样才能解决这个问题 /tmp/hadoop-yarn/staging/ubuntu/.staging/job_1450038005671_0025/job.jar: Under replicated BP-938294433-10.0.1.190-1450037861153:blk_1073744219_3398. Target Replicas is 10 but found 3 replica(s). 当我在主节点中运行hadoop fsck/时,我得到了这个结果。 我假设我应该更改c

我怎样才能解决这个问题

/tmp/hadoop-yarn/staging/ubuntu/.staging/job_1450038005671_0025/job.jar: Under replicated BP-938294433-10.0.1.190-1450037861153:blk_1073744219_3398. Target Replicas is 10 but found 3 replica(s).
当我在主节点中运行
hadoop fsck/
时,我得到了这个结果。 我假设我应该更改conf中的
.xml
文件或类似的文件,我只是不知道要更改哪个文件


请注意,
hdfs site.xml
中的
dfs.replication
已设置为3。我的
hdfs site.xml
文件中没有
dfs.replication.max

hdfs配置文件
hdfs site.xml
应包含
dfs.replication
属性,该属性描述块复制因子:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

dfs.replication
3.

默认的
hdfs site.xml
位置是
/etc/hadoop/hdfs site.xml

您可以忽略/tmp/hadoop-thread/staging/ubuntu/.staging/job_1450038005671_0025/job.jar,它是一个作业资源。dfs.replication对作业资源没有影响

  • 作业资源(如jar文件、使用-files(分布式缓存)传递的文件)将使用10作为复制因子复制到HDFS
  • 作业运行时,这些作业资源(代码)将被复制到容器/任务以处理数据
  • 根据阈值完成作业后,这些资源将自动回收

  • 此功能有助于在处理数据时实现数据局部性(其中代码指向数据)。

    作为作业一部分提交的文件(JAR等)的复制计数由参数
    mapreduce.client.submit.file.replication
    (或
    mapre 2.4集群中的
    mapred.submit.replication
    控制)在mapred-site.xml中。对于小于10个节点的集群,您可以将其调低,或者忽略来自fsck的消息


    FWIW,这有一个错误,但我怀疑它是否会工作。

    在该文件中设置为3,因此我不确定为什么会出现此错误!?这已经是另一个问题:)尝试在配置文件中将
    dfs.replication.max
    属性设置为3。请查看更新。我的
    hdfs site.xml
    中没有
    dfs.replication.max
    作为属性。