Hive 如何轻松地将RDBMS数据导入配置单元分区表

Hive 如何轻松地将RDBMS数据导入配置单元分区表,hive,sqoop,Hive,Sqoop,我的RDBMS中有表。现在,我选择了该表的第3列作为配置单元表的分区列 现在,如何轻松地将RDBMS表的数据导入配置单元表(考虑分区列)?可以使用sqoop将RDBMS导入配置单元 以下是导入分区表的相关信息: 通过指定--Hive partition键和 --配置单元分区值参数。分区值必须是字符串。有关详细信息,请参阅配置单元文档 分区 它只适用于静态分区。 有关更多详细信息,请参阅以下sqoop脚本: sqoop import --connect "jdbc:mysql://quicks

我的RDBMS中有表。现在,我选择了该表的第3列作为配置单元表的分区列


现在,如何轻松地将RDBMS表的数据导入配置单元表(考虑分区列)?

可以使用sqoop将RDBMS导入配置单元

以下是导入分区表的相关信息:

通过指定--Hive partition键和 --配置单元分区值参数。分区值必须是字符串。有关详细信息,请参阅配置单元文档 分区


它只适用于静态分区。 有关更多详细信息,请参阅以下sqoop脚本:

sqoop import 
--connect "jdbc:mysql://quickstart.cloudera:3306/prac" 
--username root 
--password cloudera 
--hive-import 
--query "select id,name,ts from student where city='Mumbai' and \$CONDITIONS" 
--hive-table prac.student 
--hive-partition-key city 
--hive-partition-value 'Mumbai'
--target-dir /user/mangesh/sqoop_import/student_temp5 
--split-by id 

对于动态分区,您可以使用

sqoop import \  
--connect "jdbc:mysql://quickstart.cloudera:3306/prac" \  
--username root \  
--password cloudera \  
--table <mysql -tablename> \  
--hcatalog-database <hive-databasename> \  
--hcatalog-table <hive-table name> \  
sqoop导入\
--连接“jdbc:mysql://quickstart.cloudera:3306/prac" \  
--用户名root\
--密码cloudera\
--表\
--hcatalog数据库\
--hcatalog表\
请查看下面的链接。。