Scala java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStream，Spark处于本地模式
我以前在纱线簇模式中使用过Spark，到目前为止效果很好 然而，我想以“本地”模式运行它，所以我创建了一个简单的scala应用程序，通过maven添加spark作为依赖项，然后尝试像普通应用程序一样运行该应用程序 但是，在我尝试创建SparkConf对象的第一行中出现了上述异常 我不明白，为什么我需要hadoop来运行一个独立的spark应用程序。有人能指出这是怎么回事吗 我的两行应用程序：Scala java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStream，Spark处于本地模式,scala,maven,hadoop,apache-spark,apache-spark-mllib,Scala,Maven,Hadoop,Apache Spark,Apache Spark Mllib,我以前在纱线簇模式中使用过Spark，到目前为止效果很好 然而，我想以“本地”模式运行它，所以我创建了一个简单的scala应用程序，通过maven添加spark作为依赖项，然后尝试像普通应用程序一样运行该应用程序 但是，在我尝试创建SparkConf对象的第一行中出现了上述异常 我不明白，为什么我需要hadoop来运行一个独立的spark应用程序。有人能指出这是怎么回事吗 我的两行应用程序： val sparkConf = new SparkConf().setMaster("local").
val sparkConf = new SparkConf().setMaster("local").setAppName("MLPipeline.AutomatedBinner")//.set("spark.default.parallelism", "300").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer").set("spark.kryoserializer.buffer.mb", "256").set("spark.akka.frameSize", "256").set("spark.akka.timeout", "1000") //.set("spark.akka.threads", "300")//.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") //.set("spark.akka.timeout", "1000")
val sc = new SparkContext(sparkConf)