Hadoop 如何使用DistCp将数据直接转换为配置单元中的表?

Hadoop 如何使用DistCp将数据直接转换为配置单元中的表?,hadoop,bigdata,distcp,Hadoop,Bigdata,Distcp,我正在使用DistCp将数据从集群1复制到集群2。我成功地将表数据从集群1复制到集群2。但是,使用hdfs,数据已发送到文件浏览器 使用DistCp命令是否有直接的方法将此hdfs数据转换为配置单元表(包括数据类型、delimeters…等)?我当然可以查询它以从hdfs收集数据,但是我必须逐个转换它们。试图寻找有效的方法来解决这个问题。谢谢 例如: hadoop distcp hdfs://nn1:8020/source/a hdfs://nn1:8020/source/b hdfs://nn

我正在使用DistCp将数据从集群1复制到集群2。我成功地将表数据从集群1复制到集群2。但是,使用hdfs,数据已发送到文件浏览器

使用DistCp命令是否有直接的方法将此hdfs数据转换为配置单元表(包括数据类型、delimeters…等)?我当然可以查询它以从hdfs收集数据,但是我必须逐个转换它们。试图寻找有效的方法来解决这个问题。谢谢

例如:

hadoop distcp hdfs://nn1:8020/source/a hdfs://nn1:8020/source/b hdfs://nn2:8020/destination

尚未找到可以直接使用DistCp复制表的文档。然而,如果任何人正在寻找类似的情况,他们可以使用。为我工作

--hive
export table <<<table_name>>> to '<<<hdfs path>>>';

#bash/shell
hadoop distcp source desitination 

--hive
import table <<<table_name>> from '<<<hdfs>>>';
——蜂巢
将表导出到“”;
#bash/shell
hadoop distcp源解析
--蜂巢

导入表您可以先在目标集群端创建一个extrenal表,它指向这个hdfs目录,但我必须逐个创建它。我希望hadoop能够通过上面代码加载到HDFS中的数据自动生成Hive中的表。