Sqoop-将所有表从mysql导入配置单元
我的mysql数据库中有三个表:Sqoop-将所有表从mysql导入配置单元,mysql,hadoop,hive,sqoop,hiveql,Mysql,Hadoop,Hive,Sqoop,Hiveql,我的mysql数据库中有三个表: parent\u表有两个联接表:foo,bar,其中parent\u表有许多foo,bar属于parent\u表 如何使用sqoop或其他方法将这些表导入要查询的配置单元中 您可以从介绍如何使用Sqoop或更多面向用例的书籍开始。这两个来源都应该能够帮助您了解在这种情况下需要做什么。以下是示例: sqoop import-all-tables \ --connect "jdbc:mysql://quickstart.cloudera:3306/retail_
parent\u表
有两个联接表:foo
,bar
,其中parent\u表
有许多foo
,bar
属于parent\u表
如何使用sqoop或其他方法将这些表导入要查询的配置单元中 您可以从介绍如何使用Sqoop或更多面向用例的书籍开始。这两个来源都应该能够帮助您了解在这种情况下需要做什么。以下是示例:
sqoop import-all-tables \
--connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \
--username=retail_dba \
--password=cloudera \
--warehouse-dir=/user/hive/warehouse/retail_stage.db
--connect子句中的retail_db是mysql数据库
retail_dba in--username子句是有权读取retail_dbmysql数据库下表的mysql用户
cloudera in--password子句是mysql用户retail_dba的密码
/--warehouse dir中的user/hive/warehouse/retail_stage.db是hadoop目录(在本例中是hive数据库,可以有任何有效的hadoop目录)。
上面的脚本将为/user/hive/warehouse/retail_stage.db下的每个mysql表创建目录
您可以像在Cloudera Quickstart VM中一样运行此脚本