异常:在本地Windows计算机中使用pyspark时,Java网关进程在发送端口号之前退出
在spark中启动spark应用程序时出现此错误。我正在使用Anaconda(Spyder)IDE。在找到解决方案时,我感到非常沮丧,但仍然没有获得任何成功。请帮助。早些时候,我能够使用以下代码启动spark,但此错误来自过去2天异常:在本地Windows计算机中使用pyspark时,Java网关进程在发送端口号之前退出,java,apache-spark,pyspark,apache-spark-sql,Java,Apache Spark,Pyspark,Apache Spark Sql,在spark中启动spark应用程序时出现此错误。我正在使用Anaconda(Spyder)IDE。在找到解决方案时,我感到非常沮丧,但仍然没有获得任何成功。请帮助。早些时候,我能够使用以下代码启动spark,但此错误来自过去2天 spark = SparkSession \ .builder \ .appName("SSKafka") \ .getOrCreate() 我尝试过一些事情,比如设置JAVA_HOME、SPARK
spark = SparkSession \
.builder \
.appName("SSKafka") \
.getOrCreate()
我尝试过一些事情,比如设置JAVA_HOME、SPARK_HOME、HADOOP_HOME环境变量、卸载/重新安装不同的SPARK verions、Anaconda、JAVA不同版本、重新启动PC
Spark版本:2.4.1
机器窗口
使用Python 2.7和3.5的Anaconda Spyder都尝试过
import os
import sys
#os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-10_2.11-2.3.4'
os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[1] pyspark-shell"
os.environ['JAVA_HOME'] = "C:/Program Files/Java/jdk1.8.0_271"
os.environ['SPARK_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"
os.environ['HADOOP_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/spark-sql-kafka-0-10_2.11-2.4.1.jar pyspark-shell'
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/kafka-clients-2.6.0.jar pyspark-shell'
from ast import literal_eval
# initialize spark
import findspark
findspark.init()
findspark.find()
import pyspark
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("SSKafka") \
.getOrCreate()
快速解决方案-在databricks社区版中使用spark。。它是免费的,你可以像其他人一样探索云well@dsk谢谢。我将在Databricks中尝试最终将IDE从Spyder更改为Pycharm。我不会在那里面对这个问题:)