Python 如何在pyspark环境会话中设置blob conf_Python_Apache Spark_Pyspark

Python 如何在pyspark环境会话中设置blob conf

python apache-spark pyspark

Python 如何在pyspark环境会话中设置blob conf,python,apache-spark,pyspark,Python,Apache Spark,Pyspark,我有一个pyspark脚本，在该脚本中我启动了spark会话，但我无法使用spark.read.format（'json'）.load（“我的blob\u路径”）从blob存储读取。下面是我的会话初始化。请帮助我在环境中设置blob凭据 conf = SparkConf().setAppName("session1") sc = SparkContext(conf=conf) from pyspark.sql import SparkSession spark = SparkSession.bu

我有一个

pyspark

脚本，在该脚本中我启动了

spark

会话，但我无法使用

spark.read.format（'json'）.load（“我的blob\u路径”）从blob存储读取。下面是我的会话初始化。请帮助我在环境中设置blob凭据
conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()


初始化spark会话后，可以使用spark.conf.set
设置azure blob存储帐户的凭据
代码如下：
conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()

spark.conf.set("fs.azure.account.key.{blob_account_name}.blob.core.windows.net","{blob_account_key}")

这将在您的路径中设置帐户，然后您可以使用spark.read.format（'json'）.load（'wasb://{blob_container}@{blob_account_name}.blob.core.windows.net/{blob_path}）从blob中读取。
这对我来说很有效，但我想知道在初始化会话时有没有办法添加conf
？