Hadoop distcp是否复制副本
如果我使用distcp在两个集群内复制数据，它是复制所有副本还是只复制一个数据副本并在新集群上复制Hadoop distcp是否复制副本,hadoop,Hadoop,如果我使用distcp在两个集群内复制数据，它是复制所有副本还是只复制一个数据副本并在新集群上复制 例如，我尝试从复制因子（RF）为3的集群复制3gb的数据。distcp是否会复制完整的3gb数据，或者它是否知道由于RF为3，它只需要移动1gb（一个拷贝）的数据。最后，在目标集群上，它查看RF并相应地复制数据 原始数据的大小很重要。如果原始数据为1 GB，则复制系数=3时最多需要3x1 GB。将数据从一个集群复制到另一个集群时，原始数据很重要。只有原始1 GB数据将复制到目标群集 HDFS在内部
例如，我尝试从复制因子（RF）为3的集群复制3gb的数据。distcp是否会复制完整的3gb数据，或者它是否知道由于RF为3，它只需要移动1gb（一个拷贝）的数据。最后，在目标集群上，它查看RF并相应地复制数据 原始数据的大小很重要。如果原始数据为1 GB，则复制系数=3时最多需要3x1 GB。将数据从一个集群复制到另一个集群时，原始数据很重要。只有原始1 GB数据将复制到目标群集
HDFS在内部处理块的复制。它将注意到集群上的新数据，并相应地复制那些未被复制的块，即复制副本少于RF。原始数据大小很重要。如果原始数据为1 GB，则复制系数=3时最多需要3x1 GB。将数据从一个集群复制到另一个集群时，原始数据很重要。只有原始1 GB数据将复制到目标群集
HDFS在内部处理块的复制。它将注意到群集上的新数据，并相应地复制那些未被复制的块，即复制副本少于RF。当您使用distcp进行复制时，将只复制/复制实际数据（即数据的1个副本）。复制将由框架处理，就像将新数据写入HDFS时的处理方式一样。除此之外，如果两个集群之间存在distcp，还可以指定是否要在源位置保留复制因子 有关更多信息：
使用distcp进行复制时，只会复制/复制实际数据（即数据的1个副本）。复制将由框架处理，就像将新数据写入HDFS时的处理方式一样。除此之外，如果两个集群之间存在distcp，还可以指定是否要在源位置保留复制因子 有关更多信息：