Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
异常:在本地Windows计算机中使用pyspark时,Java网关进程在发送端口号之前退出_Java_Apache Spark_Pyspark_Apache Spark Sql - Fatal编程技术网

异常:在本地Windows计算机中使用pyspark时,Java网关进程在发送端口号之前退出

异常:在本地Windows计算机中使用pyspark时,Java网关进程在发送端口号之前退出,java,apache-spark,pyspark,apache-spark-sql,Java,Apache Spark,Pyspark,Apache Spark Sql,在spark中启动spark应用程序时出现此错误。我正在使用Anaconda(Spyder)IDE。在找到解决方案时,我感到非常沮丧,但仍然没有获得任何成功。请帮助。早些时候,我能够使用以下代码启动spark,但此错误来自过去2天 spark = SparkSession \ .builder \ .appName("SSKafka") \ .getOrCreate() 我尝试过一些事情,比如设置JAVA_HOME、SPARK

在spark中启动spark应用程序时出现此错误。我正在使用Anaconda(Spyder)IDE。在找到解决方案时,我感到非常沮丧,但仍然没有获得任何成功。请帮助。早些时候,我能够使用以下代码启动spark,但此错误来自过去2天

spark = SparkSession \
        .builder \
        .appName("SSKafka") \
        .getOrCreate()
我尝试过一些事情,比如设置JAVA_HOME、SPARK_HOME、HADOOP_HOME环境变量、卸载/重新安装不同的SPARK verions、Anaconda、JAVA不同版本、重新启动PC Spark版本:2.4.1 机器窗口 使用Python 2.7和3.5的Anaconda Spyder都尝试过

import os
import sys
#os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-10_2.11-2.3.4'
os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[1] pyspark-shell"
os.environ['JAVA_HOME'] = "C:/Program Files/Java/jdk1.8.0_271"
os.environ['SPARK_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"
os.environ['HADOOP_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"

os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/spark-sql-kafka-0-10_2.11-2.4.1.jar pyspark-shell'
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/kafka-clients-2.6.0.jar pyspark-shell'

from ast import literal_eval

# initialize spark
import findspark
findspark.init()
findspark.find()

import pyspark
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession


spark = SparkSession \
    .builder \
    .appName("SSKafka") \
    .getOrCreate()

快速解决方案-在databricks社区版中使用spark。。它是免费的,你可以像其他人一样探索云well@dsk谢谢。我将在Databricks中尝试最终将IDE从Spyder更改为Pycharm。我不会在那里面对这个问题:)