Scala 使用Spark创建的配置单元表在色调/配置单元GUI中不可见
我正在使用下面的代码从scala创建配置单元表:Scala 使用Spark创建的配置单元表在色调/配置单元GUI中不可见,scala,apache-spark,hadoop,hive,Scala,Apache Spark,Hadoop,Hive,我正在使用下面的代码从scala创建配置单元表: val spark = SparkSession .builder() .appName("self service") .enableHiveSupport() .master("local") .getOrCreate() spark.sql("CREATE TABLE default.TEST_TABLE (C1 INT)") 必须成功创建该表,因为如果我运行此代码两次,就会收到一个错误,
val spark = SparkSession
.builder()
.appName("self service")
.enableHiveSupport()
.master("local")
.getOrCreate()
spark.sql("CREATE TABLE default.TEST_TABLE (C1 INT)")
必须成功创建该表,因为如果我运行此代码两次,就会收到一个错误,表明该表已经存在
但是,当我尝试从GUI(色调)访问此表时,我在配置单元中看不到任何表,因此它似乎保存在另一个路径中,配置单元在色调中使用该路径来获取此信息
您知道我应该怎么做才能看到我从HUE/hivewebgui代码创建的表吗
任何帮助都将不胜感激。
非常感谢。我觉得您没有将hive-site.xml添加到正确的路径。 配置单元站点具有spark成功连接配置单元所需的属性,您应该将其添加到目录中 星火之家/形态/ 您还可以使用添加此文件,并提供此文件所在的目录。例如在pyspark提交中
/usr/bin/spark2-submit \
--conf spark.driver.extraClassPath=/../ Directory with Hive-site.xml / \
--master yarn --deploy-mode client --driver-memory nG --executor-memory nG \
--executor-cores n myScript.py
在我看来,您没有将hive-site.xml添加到正确的路径。 配置单元站点具有spark成功连接配置单元所需的属性,您应该将其添加到目录中 星火之家/形态/ 您还可以使用添加此文件,并提供此文件所在的目录。例如在pyspark提交中
/usr/bin/spark2-submit \
--conf spark.driver.extraClassPath=/../ Directory with Hive-site.xml / \
--master yarn --deploy-mode client --driver-memory nG --executor-memory nG \
--executor-cores n myScript.py
您是否已将hive-site.xml包含到spark提交中?如果未提供,spark将创建一个新的配置单元数据库。您可以通过运行spark.sql(“SHOW DATABASES”)来测试是否连接到配置单元。如果只有默认值存在(并且您以前已经创建了另一个),那么您还没有连接到配置单元。你也用纱线吗?嗨@MichailN,非常感谢你的回答。这是有道理的。不幸的是,我对这些技术有点生疏,所以我试图在spark代码中包含hive-site.xml,但没有成功。你能告诉我怎么做吗?再次感谢。您是否已将hive-site.xml包含到spark提交中?如果未提供,spark将创建一个新的配置单元数据库。您可以通过运行spark.sql(“SHOW DATABASES”)来测试是否连接到配置单元。如果只有默认值存在(并且您以前已经创建了另一个),那么您还没有连接到配置单元。你也用纱线吗?嗨@MichailN,非常感谢你的回答。这是有道理的。不幸的是,我对这些技术有点生疏,所以我试图在spark代码中包含hive-site.xml,但没有成功。你能告诉我怎么做吗?再次感谢。非常感谢@MichailN。最后,它成功地为SparkSession添加了两个配置:spark.sql.warehouse.dir和hive.metastore.uri,但您的帮助对于找到解决方案至关重要。谢谢非常感谢@MichailN。最后,它成功地为SparkSession添加了两个配置:spark.sql.warehouse.dir和hive.metastore.uri,但您的帮助对于找到解决方案至关重要。谢谢