Apache spark 为spark thrift server提供仓库目录的路径

Apache spark 为spark thrift server提供仓库目录的路径,apache-spark,hive,apache-spark-sql,tableau-api,spark-thriftserver,Apache Spark,Hive,Apache Spark Sql,Tableau Api,Spark Thriftserver,我已经设置了spark群集,并且通过spark SQL连接器成功地连接了Tableau 我从spark shell创建了表,并使用(saveAsTable)从MySQL保存了数据帧 如何访问从Tableau保存的表?启动spark thrift服务器时是否需要提供仓库目录的路径?如果是,如何做到;如果不是,如何做到 确保您指向的是spark shell和 储蓄服务器 元存储共享可以有两种方式,简单来说 从同一位置启动shell和thrift 为metastore设置远程数据库 您可以使用--hi

我已经设置了spark群集,并且通过spark SQL连接器成功地连接了Tableau

我从spark shell创建了表,并使用(
saveAsTable
)从MySQL保存了数据帧

如何访问从Tableau保存的表?启动spark thrift服务器时是否需要提供仓库目录的路径?如果是,如何做到;如果不是,如何做到

确保您指向的是spark shell和 储蓄服务器

元存储共享可以有两种方式,简单来说

  • 从同一位置启动shell和thrift
  • 为metastore设置远程数据库
  • 您可以使用
    --hiveconf
    将配置单元配置传递给Spark thrift server,并使用
    --conf
    将Spark配置传递给Spark thrift server

    ./sbin/start-thriftserver.sh \
      --conf spark.sql.warehouse.dir=path/to/warehouse/dir \
      --hiveconf hive.server2.thrift.port=<listening-port> \
      --hiveconf hive.server2.thrift.bind.host=<listening-host> \
      --master <master-uri>
      ...
    
    /sbin/start-thriftserver.sh\
    --conf spark.sql.warehouse.dir=path/to/warehouse/dir\
    --hiveconf配置单元.server2.thrift.port=\
    --hiveconf hive.server2.thrift.bind.host=\
    --主人
    ...