Scala Spark版本兼容性

我试图在IntelliJ IDE中配置Scala

我的机器中的Scala和Spark版本

Welcome to Scala 2.12.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_121).

apache-spark/2.2.1

SBT文件

scalaVersion := "2.12.5"
resolvers  += "MavenRepository" at "http://central.maven.org/maven2"

libraryDependencies ++= {
  val sparkVersion = "2.2.1"
    Seq( "org.apache.spark" %% "spark-core" % sparkVersion)
}

我得到的错误

Error:Error while importing SBT project:<br/>...<br/><pre>[info] Resolving jline#jline;2.14.5 ...
[error] (*:ssExtractDependencies) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;2.2.1: not found
[error] unresolved dependency: org.apache.spark#spark-core_2.12;1.4.0: not found
[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;2.2.1: not found
[error] unresolved dependency: org.apache.spark#spark-core_2.12;1.4.0: not found

错误：导入SBT项目时出错：
……
[info]解析jline#jline；2.14.5 ...
scalaVersion := "2.11.8"
resolvers  += "MavenRepository" at "http://central.maven.org/maven2"

libraryDependencies ++= {
  val sparkVersion = "2.2.1"
    Seq( "org.apache.spark" %% "spark-core" % sparkVersion)
}

[错误]（*：ssExtractDependencies）sbt.ResolveException:未解析的依赖项：org.apache.spark#spark-core_2.12；2.2.1：未找到
[错误]未解析的依赖项：org.apache.spark#spark-core_2.12；1.4.0：未找到
[错误]（*：更新）sbt.ResolveException:未解析的依赖项：org.apache.spark#spark-core_2.12；2.2.1：未找到
[错误]未解析的依赖项：org.apache.spark#spark-core_2.12；1.4.0：未找到

没有您在sbt项目中定义的spark core版本可供下载。您可以查看有关可用版本的更多信息

正如您所看到的，对于spark core 2.2.1版，要下载的最新版本是在Scala 2.11中编译的

所以

将sbt生成文件更改为

libraryDependencies ++= {
  val sparkVersion = "2.2.1"
    Seq("org.apache.spark" % "spark-core_2.11" % sparkVersion)
}

或将内置依赖项的版本定义为

我希望答案有帮助

没有您在sbt项目中定义的spark core版本可供下载。您可以查看有关可用版本的更多信息

正如您所看到的，对于spark core 2.2.1版，要下载的最新版本是在Scala 2.11中编译的

所以

将sbt生成文件更改为

libraryDependencies ++= {
  val sparkVersion = "2.2.1"
    Seq("org.apache.spark" % "spark-core_2.11" % sparkVersion)
}

或将内置依赖项的版本定义为

---

我希望答案是有帮助的

Spark-2.2.1

不支持

scalaVersion-2.12

。你必须这样做：

规模厌恶：=“2.11.8”

libraryDependencies+=“org.apache.spark”%“spark核心”%“$sparkVersion”

---

谢谢

Spark-2.2.1

不支持

scalaVersion-2.12

。你必须这样做：

规模厌恶：=“2.11.8”

libraryDependencies+=“org.apache.spark”%“spark核心”%“$sparkVersion”

谢谢