Hadoop GPFS到HDFS的迁移

Hadoop GPFS到HDFS的迁移,hadoop,migration,hdfs,bigdata,Hadoop,Migration,Hdfs,Bigdata,我有一个IBM的BigInsight集群,其中有~5k个Hive表和其他HBASE数据以及一些大型SQL表。所有数据文件均采用不同格式,即文本、Avro、bz2等。 现在要从BigInsight迁移到HDP(Hortonworks数据平台),我需要了解如何将数据从GPF移动到HDF 你能解释一下GPFS和HDFS之间的架构差异吗。对于这两个Namenode,都是相同的。名称空间中的更改是什么。复制命名空间不起作用 如何从其他Hadoop集群访问GPF-简单地说distcp就可以了 我们在移民时可

我有一个IBM的BigInsight集群,其中有~5k个Hive表和其他HBASE数据以及一些大型SQL表。所有数据文件均采用不同格式,即文本、Avro、bz2等。 现在要从BigInsight迁移到HDP(Hortonworks数据平台),我需要了解如何将数据从GPF移动到HDF

  • 你能解释一下GPFS和HDFS之间的架构差异吗。对于这两个Namenode,都是相同的。名称空间中的更改是什么。复制命名空间不起作用
  • 如何从其他Hadoop集群访问GPF-简单地说distcp就可以了
  • 我们在移民时可以面临哪些挑战
  • 我有一些选择:

    • nfs网关
    • distscp
    • httpfs
    • WebHDFS REST API
    • SCP-安全副本
    我唯一关心的是这些选项中的哪一个可以同时适用于GPFS和HDFS。如果没有针对我的场景测试这些选项,那么我应该选择哪些其他选项。

    请建议任何解决方案,我还需要注意哪些事项

    谢谢。 当做 帕迪普·夏尔马