在不使用distcp命令的情况下将配置单元数据从一个Hadoop集群移动到另一个Hadoop集群？

如何在不使用

distcp

命令的情况下将配置单元数据从一个Hadoop集群移动到另一个Hadoop集群。因为我们不能用这个。我们还有像Sqoop或Flume这样的选择吗？

distcp是将大量数据从一个hadoop集群移动到另一个集群的有效方法

Sqoop和Flume不能用于将数据从一个hadoop集群传输到另一个hadoop集群。Sqoop主要用于在hadoop和关系数据库之间移动数据，而Flume则用于将流数据接收到hadoop

您的另一个选择是使用：

像Kafka一样的高吞吐量消息队列，但这将比使用distcp更加复杂

使用传统的

hadoop fs

shell命令，如

cp

或

get

后跟

put

---

当你谈论蜂巢数据时，你也应该考虑保持蜂群元数据（AsRelo）在集群之间的同步。

谢谢回复和建议Ashrith，我想我可以这样做：sqoop import--connect jdbc:hive2://am1dlccmrhdn04.r1 core.r1.aig.net:10000/test_vk--driver org.apache.hive.jdbc.HiveDriver--username codspug--table sqooptest-m1--hive import--target dir/tmp/TESTVK/从开始，它给出了不支持的类似错误的方法。我们可以用Map Reduce程序或任何其他方法来实现这一点吗？请帮忙，因为你建议我们可以使用卡夫卡，但这里不能使用卡夫卡。请帮我做这个？