Apache spark spark submit发出NullPointerException

Apache spark spark submit发出NullPointerException,apache-spark,pyspark,Apache Spark,Pyspark,我想创建一个简单的python脚本。当我在pysparkshell中编写代码时,它工作正常。但当我尝试将spark submit与以下内容结合使用时: from pyspark import SparkConf, SparkContext conf = SparkConf() sc = SparkContext(conf=conf) 这是我收到的错误信息。我正在使用Anaconda python,是否需要进行其他设置?谢谢 您应该指定主地址,例如: SparkConf().setMaster(

我想创建一个简单的python脚本。当我在pysparkshell中编写代码时,它工作正常。但当我尝试将spark submit与以下内容结合使用时:

from pyspark import SparkConf, SparkContext
conf = SparkConf()
sc = SparkContext(conf=conf)
这是我收到的错误信息。我正在使用Anaconda python,是否需要进行其他设置?谢谢

您应该指定主地址,例如:

SparkConf().setMaster("local[4]")
另外,当您使用spark submit脚本时,请确保spark群集已启动并运行,同时确保防火墙未阻止群集节点通信,因为通信发生在类似27231的端口


试试看,祝你好运。

当我在集群上运行它时,它正在工作,但当我在单机上尝试时,它就是不让我使用,我的单机上有没有遗漏任何配置?你是否尝试将“setMaster”添加到conf中?因为当您提交到集群时,主节点已经定义,但是您的独立模式是,我不确定您是在内存中使用主节点还是在工作节点中使用不同的线程。也可能检查一下防火墙,我也遇到了问题,结果是防火墙阻止了到本地主机的自循环