Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/arduino/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
spark submit:java.lang.NoSuchMethodError:org.apache.spark.SparkContext$.$lessinit$greater$default$6()Lscala/collection/Map;_Java_Scala_Maven_Apache Spark_Jvm - Fatal编程技术网

spark submit:java.lang.NoSuchMethodError:org.apache.spark.SparkContext$.$lessinit$greater$default$6()Lscala/collection/Map;

spark submit:java.lang.NoSuchMethodError:org.apache.spark.SparkContext$.$lessinit$greater$default$6()Lscala/collection/Map;,java,scala,maven,apache-spark,jvm,Java,Scala,Maven,Apache Spark,Jvm,我正在spark上运行一个简单的scala示例。在这一行: val sc=新的SparkContext(“spark://login.hpc-lan.recolic.org:7077“,“Recolic+华中科技大学大数据实验室”) 火花投掷: root@ip-172-31-46-127 ~/h/hust-bigdata-lab# spark-submit --master spark://login.hpc-lan.recolic.org:7077 --class net.recolic.h

我正在spark上运行一个简单的scala示例。在这一行:

val sc=新的SparkContext(“spark://login.hpc-lan.recolic.org:7077“,“Recolic+华中科技大学大数据实验室”)
火花投掷:

root@ip-172-31-46-127 ~/h/hust-bigdata-lab# spark-submit --master spark://login.hpc-lan.recolic.org:7077 --class net.recolic.hust.bigdata.labx.Main  target/hust-bigdata-labx.jar 
19/11/07 07:37:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext$.$lessinit$greater$default$6()Lscala/collection/Map;
    at net.recolic.hust.bigdata.labx.Main$.main(Main.scala:10)
    at net.recolic.hust.bigdata.labx.Main.main(Main.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
    at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:845)
    at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
    at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我的pom.xml是。我尝试降级到scala 1.10,尝试构建一个包含所有依赖项的胖jar,尝试使用sbt,但没有一个解决问题

你能给我一些建议吗

--更新


我的spark是2.4.4,scala是2.11.12。所以我选择使用spark sdk 2.4.4。但是,仍然存在相同的错误。

我猜您的Spark版本不匹配。请检查正在运行的Spark版本,然后在构建时使用该版本相关的依赖项。@RamdevSharma我试图更改Spark sdk版本,但仍然没有成功。请参阅更新。我猜您的Spark版本不匹配。请检查正在运行的Spark版本,然后在构建时使用该版本相关的依赖项。@RamdevSharma我试图更改Spark sdk版本,但仍然没有成功。请参阅更新。