Mysql hive.HiveImport:失败：SemanticException[错误10072]：数据库不存在：

我正在尝试将MySQL数据库导入Hive，以便根据分析大型MySQL数据。有几种方法可以做到这一点

非实时：Sqoop

实时：Hadoop Applier for MySQL

所以我决定采用“非实时”的方法，我已经用4节点、Sqoop和Hive设置了Hadoop集群，它可以在以下版本中正常工作

名称版本

ApacheHadoop2.6.0

ApacheHiveHive-0.14.0

ApacheSqoopSqoop-1.4.5.bin__hadoop-2.0.4-alpha

现在，当我尝试使用以下命令导入数据时

导入命令

sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-database edgeowt.db  --hive-overwrite

然后我得到以下错误

错误

INFO hive.HiveImport: FAILED: SemanticException [Error 10072]: Database does not exist: edgeowt.db
15/04/16 13:32:09 ERROR tool.ImportAllTablesTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 88

我使用Hiveserver2登录并检查了数据库，但我可以看到给定的数据库

$HIVE_HOME/bin>beeline
beeline> !connect jdbc:hive2://localhost:10000 scott tiger org.apache.hive.jdbc.HiveDriver
0: jdbc:hive2://localhost:10000> show databases;
+----------------+--+
| database_name  |
+----------------+--+
| default        |
| edgeowt        |
+----------------+--+

在研究了HDFS文件系统web界面之后，我意识到数据库的所有者是不同的

Permission  Owner   Group       Size    Replication Block Size  Name
drwxr-xr-x  hduser  supergroup  0 B 0       0 B     candidate
drwxr-xr-x  scott   supergroup  0 B 0       0 B     edgeowt.db
drwxr-xr-x  scott   supergroup  0 B 0       0 B     hd_temperature

sqoop-import-all-tables --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --hive-database edgeowt --hive-overwrite -m 4

当我试图使用hduser导入数据时，数据库是使用scottuser创建的。 我尝试使用以下命令将edgeowt.db上的ALL权限授予hduser

0: jdbc:hive2://localhost:10000>GRANT ALL ON DATABASE edgeowt TO USER hduser;

并与

0: jdbc:hive2://localhost:10000> SHOW GRANT ON DATABASE edgeowt;
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+
| database  | table  | partition  | column  | principal_name  | principal_type  | privilege  | grant_option  |   grant_time   | grantor  |
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+
| edgeowt   |        |            |         | admin           | ROLE            | ALL        | false         | 1429170366000  | scott    |
| edgeowt   |        |            |         | hduser          | USER            | ALL        | false         | 1429170906000  | scott    |
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+

但是无法解决错误，那么如何解决这个问题呢？或者解决这个问题的任何一点都会有帮助

~/.bashrc

# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
# Set Hadoop-related environment variables
export HADOOP_INSTALL=/opt/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL

# Set hive home 
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

# Set HCatlog home 
export HCAT_HOME=$HIVE_HOME/hcatalog
export PATH=$PATH:$HCAT_HOME/bin

# Set Sqoop home
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
export SQOOP_HOME=/opt/sqoop
export SQOOP_CONF_DIR="$SQOOP_HOME/conf"
export SQOOP_CLASSPATH="$SQOOP_CONF_DIR"
export PATH=$PATH:$SQOOP_HOME/bin

编辑

尝试使用以下命令仍有相同错误

sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-database edgeowt --hive-overwrite

---

您是否在hive-env.sh中导出了hive_conf_dir

export-HIVE\u-CONF\u-DIR=“/etc/HIVE/CONF”--您需要配置配置路径

sqoop导入所有表--详细--连接jdbc:mysql://X.X.X.X/edgeowt --用户名root-P--配置单元导入--仓库目录/user/hive/warehouse--配置单元数据库edgeowt.db--配置单元覆盖

将

--hive database edgewot.db

更改为

--hive table edgewot.db

，其中

edgewot

是您的配置单元数据库名称，

db

是您的配置单元表名称

sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-table edgeowt.db  --hive-overwrite

注意：sqoop-1.4.5中没有--hive数据库选项。请参阅中第7.2.11节的表8配置单元参数

--替代方法--

如果sqoop导入所有表失败，请尝试以下步骤：

1。在

/usr/local

（本地文件系统）中创建一个名为

hivetables

的文件夹。更改文件夹的权限

sudo chmod-R 777/usr/local/hivetables

2.在

/usr/local/hivetables

中创建名为

sqoop hive.sh的shell脚本，并更改此文件的权限
sudo chmod-R 777/usr/local/hivetables/sqoop hive.sh

3.将此粘贴到
sqoop hive.sh
文件中：

#!/bin/sh
#tabfold="/usr/local/hivetables"
#cd $tabfold
mysql -u $1 -p$2 -N information_schema -e "select table_name from tables where table_schema = '$3'" > /usr/local/hivetables/tables.txt
HOSTFILE="/usr/local/hivetables/tables.txt"
for host in $(cat $HOSTFILE)
do
   $SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://localhost:3306/$3 --table $host --username $1 --password $2 --hive-import --hive-table $4.$host --warehouse-dir /user/hive/warehouse
done

4.以
sh/usr/local/hivetables/sqoop-hive.sh MYSQLUSERNAME MYSQLPASSWORD MYSQLDATABASE HIVEDATABASE执行shell脚本

注意：mysql命令将mysql数据库中的表名导出到文本文件中For循环读取表格文件，并对每个表格名称执行sqoop命令

最后，当我阅读关于同一问题的论坛讨论时，我自己得到了答案

问题在于配置单元元存储配置，有三种类型的配置单元元存储配置

嵌入式元存储（默认元存储部署模式）。
Locall元存储。
远程元存储。
我的配置单元元存储配置是默认配置。正如cloudera文档中所述，
我将metastore配置从嵌入式（默认）更改为远程metastore，并开始为我工作

有关Metastore配置的更多信息，请使用以下Cloudera文档


Sqoop命令

Permission  Owner   Group       Size    Replication Block Size  Name
drwxr-xr-x  hduser  supergroup  0 B 0       0 B     candidate
drwxr-xr-x  scott   supergroup  0 B 0       0 B     edgeowt.db
drwxr-xr-x  scott   supergroup  0 B 0       0 B     hd_temperature

sqoop-import-all-tables --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --hive-database edgeowt --hive-overwrite -m 4

我在cloudera使用包模式的quickstart VM上遇到了完全相同的错误

我将hive-site.xml复制到sqoop conf目录：

sudo cp /etc/hive/conf/hive-site.xml /etc/sqoop/conf/

这一技巧解决了问题。
感谢我在没有.db扩展名的情况下尝试的回复。仍然获得相同的错误失败：SemanticException[错误10072]：数据库不存在：edgeowtyes我已在$HOME/.bashrc文件中设置了HIVE_CONF_DIR。检查我的UpdateRestried仍然相同的错误失败：SemanticException[错误10072]：数据库不存在：edgeowtsqoop导入所有表--详细--连接jdbc:mysql://192.168.1.49/edgeowt --用户名root-P--配置单元导入--仓库目录/user/hive/warehouse--配置单元表edgewot.db--配置单元覆盖-m4错误失败：SemanticException[错误10072]：数据库不存在：EdgeWatt您得到的错误可能是由于
sqoop import all tables
命令引起的。我已经使用
sqoop import
命令，用替代方法更新了我的答案。试试看。$sh sqoop-hive.sh root``edgeowt edgeowt ERROR 2002（HY000）：无法通过套接字连接到本地MySQL服务器'/var/run/mysqld/mysqld.sock'（2）以
hduser
而不是
root
的身份运行。