Scala “线程中的异常”;“主要”;java.lang.AbstractMethodError
我正在尝试访问spark GRAPHX。 我尝试了以下代码:Scala “线程中的异常”;“主要”;java.lang.AbstractMethodError,scala,spark-graphx,Scala,Spark Graphx,我正在尝试访问spark GRAPHX。 我尝试了以下代码: /** * Created by xyz on 5/7/16. */ import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.graphx._ object simple { def main(args: Array[String]) { val conf = new SparkConf().setAppNam
/**
* Created by xyz on 5/7/16.
*/
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.graphx._
object simple {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("untitled1")
val sc = new SparkContext(conf)
val graph = GraphLoader.edgeListFile(sc, "graphx/data/followers.txt", true).partitionBy(PartitionStrategy.RandomVertexCut)
val triCounts = graph.triangleCount().vertices
val users = sc.textFile("graphx/data/users.txt").map { line =>
val fields = line.split(",")
(fields(0).toLong, fields(1))
}
val triCountByUsername = users.join(triCounts).map { case (id, (username, tc)) =>
(username, tc)
}
println(triCountByUsername.collect().mkString("\n"))
}
}
val conf=new SparkConf().setAppName(“untitled1”)
val sc=新的SparkContext(配置)
========================================
但它给了我以下错误:
线程“main”java.lang.AbstractMethodError中出现异常
位于org.apache.spark.Logging$class.log(Logging.scala:52)
位于org.apache.spark.graphx.GraphLoader$.log(GraphLoader.scala:26)
位于org.apache.spark.Logging$class.logInfo(Logging.scala:59)
位于org.apache.spark.graphx.GraphLoader$.logInfo(GraphLoader.scala:26)
位于org.apache.spark.graphx.GraphLoader$.edgeListFile(GraphLoader.scala:84)
在simple$.main中(simple.scala:18)
在simple.main(simple.scala)中
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
位于sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)中
位于java.lang.reflect.Method.invoke(Method.java:498)
位于com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
我有一个包含以下内容的数据文件:
2.1
4 1
1 2
6 3
7 3
7 6
6 7
37
检查您的依赖项:您的应用程序集需要一个方法,该方法不是您所在Spark env中的类版本提供的submit@avy,你有没有找到解决办法,我面临着同样的问题检查您的依赖项:您的应用程序集需要一个方法,该方法不是您所在Spark env中的类版本提供的submit@avy,你找到解决办法了吗?我也面临同样的问题
val graph = GraphLoader.edgeListFile(sc, "graphx/data/followers.txt", true).partitionBy(PartitionStrategy.RandomVertexCut)
val triCounts = graph.triangleCount().vertices
val users = sc.textFile("graphx/data/users.txt").map { line =>
val fields = line.split(",")
(fields(0).toLong, fields(1))
}
val triCountByUsername = users.join(triCounts).map { case (id, (username, tc)) =>
(username, tc)
}
println(triCountByUsername.collect().mkString("\n"))