Pyspark 你如何进口;火花“;来自Pypark?

Pyspark 你如何进口;火花“;来自Pypark?,pyspark,Pyspark,我试图测试一个实用函数,它接收一个spark数据帧,并在一些转换后输出一个新的spark数据帧。在尝试模拟测试数据时,我需要为输入构建一个pyspark数据帧。我看到的大多数例子都是这种用法 spark.createDataFrame(data, columns) 我对文档不太熟悉,找不到“spark”。如何从pyspark*导入spark?spark是创建为的SaprkSession的一个实例- spark=SparkSession.builder\ .master(“本地”)\ .appN

我试图测试一个实用函数,它接收一个spark数据帧,并在一些转换后输出一个新的spark数据帧。在尝试模拟测试数据时,我需要为输入构建一个pyspark数据帧。我看到的大多数例子都是这种用法

spark.createDataFrame(data, columns)

我对文档不太熟悉,找不到“spark”。如何从pyspark*导入spark?

spark
是创建为的
SaprkSession
的一个实例-

spark=SparkSession.builder\
.master(“本地”)\
.appName(“字数”)\
.config(“spark.some.config.option”、“some value”)\
.getOrCreate()

请遵循-pyspark文档是创建为的
SaprkSession
的一个实例-

spark=SparkSession.builder\
.master(“本地”)\
.appName(“字数”)\
.config(“spark.some.config.option”、“some value”)\
.getOrCreate()

请遵循pyspark文档

我想您正在寻找一种方法,如何获取
spark
会话变量,对吗

from pyspark.sql import SparkSession

spark = SparkSession.builder \
          .master("local") \
          .getOrCreate()

您可以使用几个选项修改会话生成器。

我想您正在寻找一种方法,如何获取
spark
会话变量,对吗

from pyspark.sql import SparkSession

spark = SparkSession.builder \
          .master("local") \
          .getOrCreate()
可以使用多个选项修改会话生成器