eclipse(使用scala环境设置):对象apache不是包org的成员

eclipse(使用scala环境设置):对象apache不是包org的成员,eclipse,scala,apache-spark,Eclipse,Scala,Apache Spark,如图所示,当我导入Spark软件包时,它的给出错误。请帮忙。当我在那里停留时,它显示“objectapache不是包org的成员”。 我搜索了这个错误,它显示spark jars尚未导入。所以,我也导入了“spark-assembly-1.4.1-hadoop2.2.0.jar”。但仍然是相同的错误。下面是我实际想要运行的: import org.apache.spark.{SparkConf, SparkContext} object ABC { def main(args: Arra

如图所示,当我导入Spark软件包时,它的给出错误。请帮忙。当我在那里停留时,它显示“objectapache不是包org的成员”。 我搜索了这个错误,它显示spark jars尚未导入。所以,我也导入了“spark-assembly-1.4.1-hadoop2.2.0.jar”。但仍然是相同的错误。下面是我实际想要运行的:

 import org.apache.spark.{SparkConf, SparkContext}
 object ABC {

 def main(args: Array[String]){
//Scala Main Method

println("Spark Configuration")

val conf = new SparkConf()

conf.setAppName("My First Spark Scala Application")

conf.setMaster("spark://ip-10-237-224-94:7077")

println("Creating Spark Context")
}
}

在类路径中添加
spark-core
jar应该可以解决您的问题。另外,如果您正在使用诸如或之类的构建工具(如果不是,那么您应该这样做,因为spark core有很多依赖项,并且您会在不同的JAR中不断遇到这样的问题),请尝试使用这些工具提供的Eclipse任务在您的项目中正确设置类路径。

如果您在Jupyter笔记本中的Scala环境中执行此操作,你会得到这个错误。您必须安装Apache Toree内核:

并使用该内核创建笔记本

您还必须从以下内容开始使用Jupyter笔记本:

pyspark

我也收到了同样的错误,在我的情况下,这是兼容性问题。因为Spark 2.2.1与Scala 2.12不兼容(它与2.11.8兼容),而且我的IDE支持Scala 2.12.3。 我用行动解决了我的错误

1) 从Spark的基本文件夹导入jar文件。在C驱动器中安装Spark时,我们有一个名为Spark的文件夹,其中包含Jars文件夹。在这个文件夹中,您可以获得所有基本jar文件。 转到Eclipse右键单击项目->属性->Java构建路径。在“库”类别下,我们将获得添加外部JAR的选项。。选择此选项并导入“jars文件夹”的所有jar文件。单击应用

2) 再次转到属性->Scala编译器->Scala安装->最新的2.11捆绑包(动态)*
*在选择此选项之前,应检查SPARK和SCALA的兼容性。

问题在于SCALA不向后兼容。因此,每个Spark模块都符合特定的Scala库。但是当我们从eclipse运行时,我们有一个SCALA版本,用于编译和创建spark依赖项Jar,我们将其添加到构建路径中,第二个SCALA版本作为eclipse运行时环境两者可能冲突

这是一个艰难的现实,尽管我们希望Scala能够向后兼容。或者至少创建的符合jar的文件可以向后兼容。
因此,建议在可以管理依赖版本的地方使用Maven或类似工具。

您在类路径中添加了spark core jar吗?实际上,我不知道要添加哪些jar以及它们在spark上的哪个位置,我可以从那里复制。你能指导一下吗?在添加spak core之后,你只需要按照中的说明进行操作,执行Maven->update Project,就可以开始了。这就是你所指的jar->“/root/.m2/repository/org/apache/spark/spark-core_2.10/1.4.1/spark-core_2.10-1.4.1.jar”?请帮忙是的,那是罐子。看起来这个盒子是用来装别的东西的