Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 使用Spark创建的配置单元表在色调/配置单元GUI中不可见_Scala_Apache Spark_Hadoop_Hive - Fatal编程技术网

Scala 使用Spark创建的配置单元表在色调/配置单元GUI中不可见

Scala 使用Spark创建的配置单元表在色调/配置单元GUI中不可见,scala,apache-spark,hadoop,hive,Scala,Apache Spark,Hadoop,Hive,我正在使用下面的代码从scala创建配置单元表: val spark = SparkSession .builder() .appName("self service") .enableHiveSupport() .master("local") .getOrCreate() spark.sql("CREATE TABLE default.TEST_TABLE (C1 INT)") 必须成功创建该表,因为如果我运行此代码两次,就会收到一个错误,

我正在使用下面的代码从scala创建配置单元表:

  val spark = SparkSession
    .builder()
    .appName("self service")
    .enableHiveSupport()
    .master("local")
    .getOrCreate()

  spark.sql("CREATE TABLE default.TEST_TABLE (C1 INT)")
必须成功创建该表,因为如果我运行此代码两次,就会收到一个错误,表明该表已经存在

但是,当我尝试从GUI(色调)访问此表时,我在配置单元中看不到任何表,因此它似乎保存在另一个路径中,配置单元在色调中使用该路径来获取此信息

您知道我应该怎么做才能看到我从HUE/hivewebgui代码创建的表吗

任何帮助都将不胜感激。
非常感谢。

我觉得您没有将hive-site.xml添加到正确的路径。 配置单元站点具有spark成功连接配置单元所需的属性,您应该将其添加到目录中

星火之家/形态/

您还可以使用添加此文件,并提供此文件所在的目录。例如在pyspark提交中

/usr/bin/spark2-submit \
--conf spark.driver.extraClassPath=/../ Directory with Hive-site.xml / \
--master yarn --deploy-mode client --driver-memory nG --executor-memory nG \  
--executor-cores n myScript.py

在我看来,您没有将hive-site.xml添加到正确的路径。 配置单元站点具有spark成功连接配置单元所需的属性,您应该将其添加到目录中

星火之家/形态/

您还可以使用添加此文件,并提供此文件所在的目录。例如在pyspark提交中

/usr/bin/spark2-submit \
--conf spark.driver.extraClassPath=/../ Directory with Hive-site.xml / \
--master yarn --deploy-mode client --driver-memory nG --executor-memory nG \  
--executor-cores n myScript.py

您是否已将hive-site.xml包含到spark提交中?如果未提供,spark将创建一个新的配置单元数据库。您可以通过运行spark.sql(“SHOW DATABASES”)来测试是否连接到配置单元。如果只有默认值存在(并且您以前已经创建了另一个),那么您还没有连接到配置单元。你也用纱线吗?嗨@MichailN,非常感谢你的回答。这是有道理的。不幸的是,我对这些技术有点生疏,所以我试图在spark代码中包含hive-site.xml,但没有成功。你能告诉我怎么做吗?再次感谢。您是否已将hive-site.xml包含到spark提交中?如果未提供,spark将创建一个新的配置单元数据库。您可以通过运行spark.sql(“SHOW DATABASES”)来测试是否连接到配置单元。如果只有默认值存在(并且您以前已经创建了另一个),那么您还没有连接到配置单元。你也用纱线吗?嗨@MichailN,非常感谢你的回答。这是有道理的。不幸的是,我对这些技术有点生疏,所以我试图在spark代码中包含hive-site.xml,但没有成功。你能告诉我怎么做吗?再次感谢。非常感谢@MichailN。最后,它成功地为SparkSession添加了两个配置:spark.sql.warehouse.dir和hive.metastore.uri,但您的帮助对于找到解决方案至关重要。谢谢非常感谢@MichailN。最后,它成功地为SparkSession添加了两个配置:spark.sql.warehouse.dir和hive.metastore.uri,但您的帮助对于找到解决方案至关重要。谢谢