Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/wix/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如果hadoop数据节点文件夹的数量不同,是否会发生块复制问题?_Hadoop_Hdfs_Datanode - Fatal编程技术网

如果hadoop数据节点文件夹的数量不同,是否会发生块复制问题?

如果hadoop数据节点文件夹的数量不同,是否会发生块复制问题?,hadoop,hdfs,datanode,Hadoop,Hdfs,Datanode,假设集群中有20个节点,15个节点有10个子文件夹, 像/data01/data10和其他5个节点有6个子文件夹。数据节点文件夹的数量不平衡。 在这种情况下,在块复制中产生问题的可能性是否更高?(例如ReplicationNotFoundException、BlockMissingException) 如果是这样,在这种情况下,除了添加磁盘,还能做什么? 谢谢。块复制在复制数据时会考虑,并根据复制因子集(在总体HDFS级别或每个文件级别等)进行复制 如果在没有正确步骤的情况下(将数据上载到HDF

假设集群中有20个节点,15个节点有10个子文件夹, 像/data01/data10和其他5个节点有6个子文件夹。数据节点文件夹的数量不平衡。
在这种情况下,在块复制中产生问题的可能性是否更高?(例如ReplicationNotFoundException、BlockMissingException)

如果是这样,在这种情况下,除了添加磁盘,还能做什么?
谢谢。

块复制在复制数据时会考虑,并根据复制因子集(在总体HDFS级别或每个文件级别等)进行复制

如果在没有正确步骤的情况下(将数据上载到HDFS后)移除磁盘,则可能会发生块丢失异常,但复制将自动完成