Mysql 无法启动spark thriftserver(spark的hive-site.xml没有覆盖默认值)
背景:Mysql 无法启动spark thriftserver(spark的hive-site.xml没有覆盖默认值),mysql,apache-spark,hive,metastore,Mysql,Apache Spark,Hive,Metastore,背景: 世纪7 hadoop-2.7.3 spark-2.0.1-bin-hadoop2.7 apache-hive-2.1.0-bin(仅用于通过hive启动metastore服务--服务metastore) 配置HADOOP_HOME、SPARK_HOME和HIVE_HOME等 mysql 5.7.16 已将mysql-connector-java-5.1.40-bin.jar放入hive/lib/和spark/jar中/ hive-site.xml: <?xml version="1
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://www.test.com:3306/metastore</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://www.test.com:9083</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>true</value>
</property>
</configuration>
在日志中,我们可以看到属性“hive.metastore.uris”起了作用
但其他mysql相关属性似乎不起作用,metastore仍然使用默认的数据库derby
感谢您的帮助!谢谢
决议:
我删除了hive.metastore.uris,因为我只是在本地使用了hive
hive.metastore.uris
thrift://www.test.com:9083
找到了此错误日志
Caused by: MetaException(message:Version information not found in metastore
设定,
价值
hive.metastore.schema.verification
在hive和spark conf中的hive-site.xml中设置为false,然后重新启动服务并重试Nirmal,感谢您的帮助,我像您所说的那样累了,但仍然是相同的错误。我认为这些属性有默认设置,即使没有在hive-site.xml.Nirmal中列出它们,我也没有得到hive-metastore.log。在spark_home/logs中运行spark_home/sbin/start-thriftserver.sh之后,我才得到日志。在/tmp/{user}/中运行hive cli后,可以获取hive.log。我刚刚编辑了我的问题,请检查。你能分享我spark_home的完整日志吗//logscheck此链接元存储可能正在使用mysqlNirmal,通过我自己的回复添加了完整日志。再次感谢你的帮助。
Caused by: MetaException(message:Version information not found in metastore