Apache spark spark如何从配置单元读取和写入数据？

当我使用spark shell执行

spark sql

查询配置单元中的表时，spark如何从配置单元读取和写入数据？

---

它是通过JDBC还是其他方式实现的？

如果您要检查

spark

Spark

不使用

jdbc

连接到

hive

。它使用

Hivemetastore

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

除了

SparkContext

，所有共享状态都是延迟初始化的。 此方法将强制初始化共享状态，以确保使用相同的共享状态设置父会话和子会话。如果 底层目录实现是配置单元，这将初始化元存储，这可能需要一些时间

---

注释源SparkSession.scala

如果您要检查

spark

Spark

不使用

jdbc

连接到

hive

。它使用

Hivemetastore

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

除了

SparkContext

，所有共享状态都是延迟初始化的。 此方法将强制初始化共享状态，以确保使用相同的共享状态设置父会话和子会话。如果 底层目录实现是配置单元，这将初始化元存储，这可能需要一些时间

评论源SparkSession.scala