Apache spark 火花与元存储关系

Apache spark 火花与元存储关系,apache-spark,apache-spark-sql,metastore,Apache Spark,Apache Spark Sql,Metastore,我知道Hive Metastore用于存储我们在Hive中创建的表的元数据,但是为什么spark需要Metastore,Metastore和spark之间的默认关系是什么 spark SQL是否正在使用metasore,如果是,这是否用于存储数据帧元数据 为什么spark by Default会在我不使用任何sql库的情况下检查metastore连接?以下是 当未通过hive-site.xml配置时,上下文会自动在当前目录中创建metastore_db,并创建由spark.sql.warehou

我知道Hive Metastore用于存储我们在Hive中创建的表的元数据,但是为什么spark需要Metastore,Metastore和spark之间的默认关系是什么

spark SQL是否正在使用metasore,如果是,这是否用于存储数据帧元数据

为什么spark by Default会在我不使用任何sql库的情况下检查metastore连接?

以下是

当未通过hive-site.xml配置时,上下文会自动在当前目录中创建metastore_db,并创建由spark.sql.warehouse.dir配置的目录,默认为启动spark应用程序的当前目录中的spark warehouse目录。请注意,自Spark 2.0.0以来,hive-site.xml中的hive.metastore.warehouse.dir属性已被弃用。相反,请使用spark.sql.warehouse.dir指定数据库在仓库中的默认位置