在IntelliJ Scala工作表中使用Apache Spark
我尝试使用最新的Scala插件在IntelliJ 2016.3中运行ApacheSpark 1.6.3和Scala 2.10.5。该项目是一个maven项目 如果我尝试使用以下方法创建新的SparkContext:在IntelliJ Scala工作表中使用Apache Spark,scala,apache-spark,intellij-idea,Scala,Apache Spark,Intellij Idea,我尝试使用最新的Scala插件在IntelliJ 2016.3中运行ApacheSpark 1.6.3和Scala 2.10.5。该项目是一个maven项目 如果我尝试使用以下方法创建新的SparkContext: val sparkConf = new SparkConf() val sc = new SparkContext(sparkConf.setAppName("Spark-Scala-Demo").setMaster("local[*]")) 我明白了 17/01/16 14:05
val sparkConf = new SparkConf()
val sc = new SparkContext(sparkConf.setAppName("Spark-Scala-Demo").setMaster("local[*]"))
我明白了
17/01/16 14:05:28 ERROR SparkContext: Error initializing SparkContext.
java.lang.ClassNotFoundException: org.apache.spark.rpc.netty.NettyRpcEnvFactory
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.spark.util.Utils$.classForName(Utils.scala:175)
at org.apache.spark.rpc.RpcEnv$.getRpcEnvFactory(RpcEnv.scala:41)
代码在IntelliJs scala控制台以及定义main方法的普通类中都运行良好
那么scala工作表中有什么不同呢?在工作表的开头尝试一下:
import org.apache.spark.rpc.netty
没有帮助。。同样的例外