Apache spark 在ThriftServer中注册临时表

Apache spark 在ThriftServer中注册临时表,apache-spark,spark-thriftserver,Apache Spark,Spark Thriftserver,我是Spark新手,正在尝试了解如何(如果有的话)将数据帧注册为Spark thrift服务器中的临时表。 澄清一下,这就是我要做的: 提交生成数据帧并将其注册为临时表的应用程序 从JDBC客户端连接到Spark ThriftServer(在主服务器上运行)并查询临时表,即使在注册它的应用程序完成之后也是如此 到目前为止,我在这方面还没有成功——Spark ThriftServer正在Spark master上运行,但我无法向它注册任何临时表 这可能吗?我知道我可以使用HiveThriftS

我是Spark新手,正在尝试了解如何(如果有的话)将数据帧注册为Spark thrift服务器中的临时表。 澄清一下,这就是我要做的:

  • 提交生成数据帧并将其注册为临时表的应用程序
  • 从JDBC客户端连接到Spark ThriftServer(在主服务器上运行)并查询临时表,即使在注册它的应用程序完成之后也是如此
到目前为止,我在这方面还没有成功——Spark ThriftServer正在Spark master上运行,但我无法向它注册任何临时表


这可能吗?我知道我可以使用HiveThriftServer2.startWithContext通过JDBC为数据帧提供服务,但这需要应用程序永远保持运行+它需要我启动其他应用程序。

关键思想是在Spark作业中注册所有临时表,并最终从此作业启动SparkThriftServer。它将保持您的作业运行,直到您终止thrift server。您还可以通过JDBC查询SparkThriftServer中的所有临时表。
关键思想是在Spark作业中注册所有临时表,并最终从此作业启动SparkThriftServer。它将保持您的作业运行,直到您终止thrift server。您还可以通过JDBC查询SparkThriftServer中的所有临时表。

检查。在您的情况下,代替spark shell,假设它是spark作业(piont 1)检查的可能副本。在您的情况下,而不是spark shell,假设它是spark作业(piont 1)的可能副本