Apache spark 查看PySpark的vscode
最近我安装了vscode,并希望开发PySpark应用程序。有人能帮我把现有的Pysprak罐子添加到可视化代码中吗???我已经在Windows上安装了Spark,并且想使用这些JAR(不想再次使用PIP安装Pyspark)。提前感谢您没有向VSCode添加JAR,您可以在Python代码中定义Spark submit参数,如下所示Apache spark 查看PySpark的vscode,apache-spark,visual-studio-code,pyspark,Apache Spark,Visual Studio Code,Pyspark,最近我安装了vscode,并希望开发PySpark应用程序。有人能帮我把现有的Pysprak罐子添加到可视化代码中吗???我已经在Windows上安装了Spark,并且想使用这些JAR(不想再次使用PIP安装Pyspark)。提前感谢您没有向VSCode添加JAR,您可以在Python代码中定义Spark submit参数,如下所示 import os os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages ...' # your spark cod
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages ...'
# your spark code
您还可以安装
findspark
软件包,该软件包将找到您的Spark安装目录ok。。。这可以用作工作环境。。但这看起来不是比生产标准代码有点有线吗??我看到一些地方,人们在setting.json文件中添加了一些参数来提供JAR。我们不能为Pypark做类似的事情吗??我试过了,但没有成功。可以告诉我我遗漏了什么吗。我可以在vscode的setting.json文件中添加folows吗。??。“java.project.ReferenceLibraries”:[“D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\jars”,“D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\python\\lib\*.jars”]}如果这样添加,可以吗?从pyspark.sql导入SparkSession导入os.environ['pyspark_SUBMIT_ARGS']='--packages“D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\jars”,D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\python\\lib\*.jars“'您不应该添加每个jar,不。当您启动Spark作业时,它将拾取Spark安装目录中的所有jar。packages参数用于外部库,您使用的是Python项目,而不是Java,因此我不确定Vscode json文件将如何帮助/处理thatHi。我试过你的建议。但我的Spark应用程序似乎仍然无法获得罐子。因此,在“Pyspark…导入SparkSession”行中,它表示“未找到Pyspark模块”。你能告诉我我做错了什么吗??