Spark 1.6.0停止对HiveThriftServer2的工作,并通过JDBC使用已注册的临时表进行查询

Spark 1.6.0停止对HiveThriftServer2的工作,并通过JDBC使用已注册的临时表进行查询,jdbc,apache-spark,hive,apache-spark-sql,spark-dataframe,Jdbc,Apache Spark,Hive,Apache Spark Sql,Spark Dataframe,在Spark 1.5.2中,HiveThriftServer2查看并返回通过DataFrame.RegisterEmptable API注册的临时表 但是,Spark 1.6.0停止在HiveThriftServer2和此API上工作,因为它无法查看或返回已注册的临时表。比如说, 通过JDBC使用HiveThriftServer2查询已注册的临时表将失败,因为HiveThriftServer2看不到这些表 hiveContext.table(registerTableName)失败 Spar

在Spark 1.5.2中,HiveThriftServer2查看并返回通过DataFrame.RegisterEmptable API注册的临时表

但是,Spark 1.6.0停止在HiveThriftServer2和此API上工作,因为它无法查看或返回已注册的临时表。比如说,

  • 通过JDBC使用HiveThriftServer2查询已注册的临时表将失败,因为HiveThriftServer2看不到这些表
  • hiveContext.table(registerTableName)失败

Spark 1.6.0中是否有临时解决方案?何时修复?

您需要设置
spark.sql.hive.thriftServer.singleSession=true
,因为从spark 1.6开始,thrift server的不同用户默认都有独立的会话


有关更多信息,请参阅。

这将更适合dev@spark.apache.org或user@spark.apache.org. 如果还没有的话,也许可以解决这个问题。谢谢你,迈克尔。,