Hadoop 将以orc格式存储的配置单元表从本地HDF传输到Google云存储

我需要将存储在本地HDFS中的巨大表传输到Google云。所有表都是ORC格式的。什么是转移我所有表的最好方法？

< P>我建议你看一下指南，在那里你可以找到一个详细的解释，当你把数据移动到GCP时，你需要考虑的主要方面，以及执行迁移任务所需的细节。此外，如果您在迁移过程中需要专门帮助，您可以查看该选项。

您共享的链接解释了如何使用DistCp迁移数据。但是，distcp还不支持ORC格式。那么，有没有其他方法来迁移以orc格式存储的数据呢？您可以，例如Avro、JSON或CSV，以便使用

DistCp

命令；否则，您可以执行

hadoop fs-get

和

hadoop fs-copyToLocal

命令将HDFS文件复制到本地文件系统，然后使用gsutil工具将其加载到GCS。我建议您可以查看[从谷歌云存储加载ORC数据]（）如果您想将文件加载到BigQuery中，请参阅指南。根据什么，distcp不支持orc？它会复制我上次检查的任何文件类型