Apache spark 在pySpark中,我得到的是py4j.protocol.Py4JError:py4j.Py4JException:方法isBarrier([])不存在
此异常在Apache spark 在pySpark中,我得到的是py4j.protocol.Py4JError:py4j.Py4JException:方法isBarrier([])不存在,apache-spark,pyspark,py4j,Apache Spark,Pyspark,Py4j,此异常在行中出现。count() 发生异常:py4j.protocol.Py4JError发生错误 在呼叫o26.isBarrier时。Trace:py4j.Py4JException:Method isBarrier([])在上不存在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine
行中出现。count()
发生异常:py4j.protocol.Py4JError发生错误
在呼叫o26.isBarrier时。Trace:py4j.Py4JException:Method
isBarrier([])在上不存在
py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
在
py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
在py4j.Gateway.invoke(Gateway.java:274)处
py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)在py4j.commands.CallCommand.execute(CallCommand.java:79)处 从pyspark导入SparkContext 从pyspark导入SparkConf 代码:
这意味着您混合了Spark(JVM端)和PySparkki的不兼容版本,使用
pip install pyspark==2.3.2
命令安装pyspark。它还安装了py4j版本0.10.7,至少Python库使用了2.4。看看我对你的回答
conf = SparkConf()
conf.setAppName("First App")
sc = SparkContext('local',conf=conf)
print("-----------------------------------------------------------------------------")
lines = sc.textFile("sample.csv")
print("-----------------------------------------------------------------------------")
lines.count()