Apache spark 如何在Windows 8上构建Spark 1.1.0?
我正在尝试在Windows8上构建ApacheSpark1.1.0 我已经安装了所有必备组件(Hadoop除外),并在根目录中运行了Apache spark 如何在Windows 8上构建Spark 1.1.0?,apache-spark,Apache Spark,我正在尝试在Windows8上构建ApacheSpark1.1.0 我已经安装了所有必备组件(Hadoop除外),并在根目录中运行了sbt/sbt assembly。在下载了许多文件后,我在这行之后遇到了一个错误: Set current project to root <in build file:C:/.../spark-0.9.0-incubating/>". The error is: [error] Not a valid command: / [error] /sbt
sbt/sbt assembly
。在下载了许多文件后,我在这行之后遇到了一个错误:
Set current project to root <in build file:C:/.../spark-0.9.0-incubating/>". The error is:
[error] Not a valid command: /
[error] /sbt
[error] ^
将当前项目设置为root”。错误为:
[错误]不是有效的命令:/
[错误]/sbt
[错误]^
如何在Windows上构建Spark?注意请查看我对版本差异的评论 错误
不是有效的命令:/
来自已执行并试图执行命令/
(作为/sbt
字符串中的第一个字符)。这只能意味着您在路径
中有可用的sbt
shell脚本(可能在当前工作目录之外单独安装)或在当前工作目录中
只需执行sbt assembly
,它就能很好地构建Spark
根据:
如果您想从头开始构建Spark,请访问
这清楚地表明Spark的官方构建工具现在是Maven(不幸的是)
您应该能够使用以下命令构建Spark包:
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
这对我来说很好。读到你试图构建
1.1.0
,而错误消息引用的是0.9.0-incubing
。你能解释一下区别吗?>根据Spark的主页,不幸的是,这个链接被破坏了。我试图在Windows 7上构建Spark,但却一事无成