Apache spark 在pySpark中,我得到的是py4j.protocol.Py4JError:py4j.Py4JException:方法isBarrier([])不存在

Apache spark 在pySpark中,我得到的是py4j.protocol.Py4JError:py4j.Py4JException:方法isBarrier([])不存在,apache-spark,pyspark,py4j,Apache Spark,Pyspark,Py4j,此异常在行中出现。count() 发生异常:py4j.protocol.Py4JError发生错误 在呼叫o26.isBarrier时。Trace:py4j.Py4JException:Method isBarrier([])在上不存在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine

此异常在
行中出现。count()

发生异常:py4j.protocol.Py4JError发生错误 在呼叫o26.isBarrier时。Trace:py4j.Py4JException:Method isBarrier([])在上不存在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) 在py4j.Gateway.invoke(Gateway.java:274)处 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
在py4j.commands.CallCommand.execute(CallCommand.java:79)处 从pyspark导入SparkContext 从pyspark导入SparkConf

代码:


这意味着您混合了Spark(JVM端)和PySparkki的不兼容版本,使用
pip install pyspark==2.3.2
命令安装pyspark。它还安装了py4j版本0.10.7,至少Python库使用了2.4。看看我对你的回答
    conf = SparkConf()

    conf.setAppName("First App")

    sc = SparkContext('local',conf=conf)
    print("-----------------------------------------------------------------------------")
    lines = sc.textFile("sample.csv")
    print("-----------------------------------------------------------------------------")
    lines.count()