Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/visual-studio-code/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 查看PySpark的vscode_Apache Spark_Visual Studio Code_Pyspark - Fatal编程技术网

Apache spark 查看PySpark的vscode

Apache spark 查看PySpark的vscode,apache-spark,visual-studio-code,pyspark,Apache Spark,Visual Studio Code,Pyspark,最近我安装了vscode,并希望开发PySpark应用程序。有人能帮我把现有的Pysprak罐子添加到可视化代码中吗???我已经在Windows上安装了Spark,并且想使用这些JAR(不想再次使用PIP安装Pyspark)。提前感谢您没有向VSCode添加JAR,您可以在Python代码中定义Spark submit参数,如下所示 import os os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages ...' # your spark cod

最近我安装了vscode,并希望开发PySpark应用程序。有人能帮我把现有的Pysprak罐子添加到可视化代码中吗???我已经在Windows上安装了Spark,并且想使用这些JAR(不想再次使用PIP安装Pyspark)。提前感谢

您没有向VSCode添加JAR,您可以在Python代码中定义Spark submit参数,如下所示

import os 
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages ...' 

# your spark code

您还可以安装
findspark
软件包,该软件包将找到您的Spark安装目录

ok。。。这可以用作工作环境。。但这看起来不是比生产标准代码有点有线吗??我看到一些地方,人们在setting.json文件中添加了一些参数来提供JAR。我们不能为Pypark做类似的事情吗??我试过了,但没有成功。可以告诉我我遗漏了什么吗。我可以在vscode的setting.json文件中添加folows吗。??。“java.project.ReferenceLibraries”:[“D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\jars”,“D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\python\\lib\*.jars”]}如果这样添加,可以吗?从pyspark.sql导入SparkSession导入os.environ['pyspark_SUBMIT_ARGS']='--packages“D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\jars”,D:\\Installation\\BigData\\spark-2.4.6-bin-hadoop2.7\\python\\lib\*.jars“'您不应该添加每个jar,不。当您启动Spark作业时,它将拾取Spark安装目录中的所有jar。packages参数用于外部库,您使用的是Python项目,而不是Java,因此我不确定Vscode json文件将如何帮助/处理thatHi。我试过你的建议。但我的Spark应用程序似乎仍然无法获得罐子。因此,在“Pyspark…导入SparkSession”行中,它表示“未找到Pyspark模块”。你能告诉我我做错了什么吗??