Apache spark spark 1.6.1--hive-site.xml--未连接到mysql

以下是我们的版本

Spark 1.6.1 Hadoop 2.6.2 蜂巢1.1.0

我在$SPARK_HOME/conf目录中有hive-site.xml。还正确配置了hive.metastore.uris属性

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://host.domain.com:3306/metastore</value>
    <description>metadata is stored in a MySQL server</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>MySQL JDBC driver class</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>user name for connecting to mysql server </description>
</property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>*****</value>
    <description>password for connecting to mysql server </description>
</property>

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://host.domain.com:9083</value>
    <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

javax.jdo.option.ConnectionURL
jdbc：mysql://host.domain.com:3306/metastore
元数据存储在MySQL服务器中
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
MySQL JDBC驱动程序类
javax.jdo.option.ConnectionUserName
蜂箱
用于连接到mysql服务器的用户名
javax.jdo.option.ConnectionPassword
*****
连接到mysql服务器的密码
hive.metastore.uris
thrift://host.domain.com:9083
metastore主机的IP地址（或完全限定的域名）和端口

不幸的是，Spark正在创建一个临时derby db，而没有连接到MySQL metastore

我需要Spark连接到MySQL元存储，因为它是所有元数据的中心存储。请帮忙

问候

---

Bala

您能尝试传递hive-site.xml吗

---

（

--files

）在群集模式下运行时是否使用spark提交？

旁注：如果

hive.metastore.uri

存在且有效，则spark应使用它连接到metastore服务，并忽略

javax.jdo.

内容（这些仅由Metastore服务本身使用-将它们传递给客户端进程甚至会违反安全！）要检查属性是否由Hadoop库拾取，请尝试

sc.hadoopConfiguration.get（“hive.Metastore.uris”，“（未定义）”）

[免责声明-我现在无法测试，只是从Spark和Hadoop文档中选取了它]当访问常规配置单元元存储时，配置单元配置文件应该位于

$Hadoop\u CONF\u DIR

或类路径中的任何目录中（例如

--CONF Spark.driver.extraClasspath=/etc/Hive/CONF

）谢谢@SamsonScharfrichter的帮助谢谢@Sanket_patil的帮助。我仍然在运行目录中看到derby.log，但是Spark代码确实在配置单元中创建了对象。谢谢