由于“源长度不匹配”，Hadoop从群集复制到群集失败

我想将数据从一个集群复制到另一个集群。我使用这个命令

hadoop distcp hdfs://SOURCE-NAMENODE:9000/dir/ \ hdfs://DESTINATION-NAMENODE:9000/

我得到这个信息：

18/04/11 12:05:37信息映射器。复制映射器：复制 hdfs://SOURCE-NAMENODE:9000/SOURCE-NAMENODE/WALs/xxxx，185601523039740289/xxxx%2C18560%2C1523039740289.default.1523445499108 到 hdfs://DESTINATION-NAMENODE:9000/SOURCE-NAMENODE/WALs/xxxx，185601523039740289/xxxx%2C18560%2C1523039740289.default.1523445499108 18/04/11 12:05:37信息映射。可检索文件复制命令：创建临时文件 文件： hdfs://DESTINATION-NAMENODE:9000/.distcp.tmp.attempt_local2084770019_0001_m_000000_0 18/04/11 12:05:38错误util.retreableCommand:retreable中失败 命令：复制 hdfs://SOURCE-NAMENODE:9000/SOURCE-NAMENODE/WALs/xxxx，185601523039740289/xxxx%2C18560%2C1523039740289.default.1523445499108 到 hdfs://DESTINATION-NAMENODE:9000/SOURCE-NAMENODE/WALs/xxxx，185601523039740289/xxxx%2C18560%2C1523039740289.default.1523445499108 java.io.IOException:的长度不匹配 资料来源：hdfs://SOURCE-NAMENODE:9000/SOURCE-NAMENODE/WALs/xxxx，185601523039740289/xxxx%2C18560%2C1523039740289.default.1523445499108 和 目标：hdfs://DESTINATION-NAMENODE:9000/.distcp.tmp.attempt_local2084770019_0001_m_000000_0 在org.apache.hadoop.tools.mapred.RetrableFileCopyCommand.CompareFileLengthSretrableFileCopyCommand.java:193

在目的地上，我只看到创建的目录，没有看到任何文件

---

有什么想法吗

这可能是因为您正在复制一个正在写入的文件