Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用spark会话导入python文件?_Python_Apache Spark_Pyspark - Fatal编程技术网

如何使用spark会话导入python文件?

如何使用spark会话导入python文件?,python,apache-spark,pyspark,Python,Apache Spark,Pyspark,我尝试使用Sparkcontext在我当前的pyspark程序中导入另一个python文件。由于多个spark上下文无法同时运行,这给了我错误。因此,我使用spark会话导入我的python文件。 我的代码是: spark = SparkSession.builder.appName('Recommendation_system').getOrCreate() txt=spark.addFile('engine.py') dataset_path = os.path.join('Musical_

我尝试使用Sparkcontext在我当前的pyspark程序中导入另一个python文件。由于多个spark上下文无法同时运行,这给了我错误。因此,我使用spark会话导入我的python文件。 我的代码是:

spark = SparkSession.builder.appName('Recommendation_system').getOrCreate()
txt=spark.addFile('engine.py')
dataset_path = os.path.join('Musical_Instruments_5.json')
app = create_app(txt,dataset_path)
我得到的错误如下:

AttributeError: 'SparkSession' object has no attribute 'addFile'

使用spark会话导入python文件的正确方法是什么。

您应该使用类的“addFile”方法:

  pyspark.SparkContext