在windows 8 x64 PC上为本地主机模式编译Apache spark 1.1.0?请参阅特定错误
我已经显式地安装了Java8SDK、ScalaIDE(修改的eclipse)、普通的EclipseIDE和sbt,尽管顺序不是这样。我真的不记得我安装它们的顺序了。当我安装了香草Eclipse IDE和Scala IDE而不是命令行工具时,我有点困惑如何设置环境变量,因为这些安装似乎与命令行安装组织语言环境的方式不同?所以我不知道这些变量指向什么 我的理解是,在windows 8 x64 PC上为本地主机模式编译Apache spark 1.1.0?请参阅特定错误,windows,hadoop,apache-spark,localhost,Windows,Hadoop,Apache Spark,Localhost,我已经显式地安装了Java8SDK、ScalaIDE(修改的eclipse)、普通的EclipseIDE和sbt,尽管顺序不是这样。我真的不记得我安装它们的顺序了。当我安装了香草Eclipse IDE和Scala IDE而不是命令行工具时,我有点困惑如何设置环境变量,因为这些安装似乎与命令行安装组织语言环境的方式不同?所以我不知道这些变量指向什么 我的理解是,CLASS\u PATH环境变量用于用户定义的类,而对于我当前的项目,我没有这些类。除此之外。我有以下环境变量设置我在windows 8
CLASS\u PATH
环境变量用于用户定义的类,而对于我当前的项目,我没有这些类。除此之外。我有以下环境变量设置我在windows 8 x64上
SBT\u HOME=C:\Program Files(x86)\SBT
JRE\u HOME=C:\Program Files\Java\jre1.8.0\u 20
JAVA\u HOME=C:\Program Files\JAVA\jdk1.8.0\u 20
Path=%JRE\u HOME%\bin;%JAVA\u HOME%\bin;C:\ProgramData\Oracle\Java\javapath;C:\ProgramFiles(x86)\scala\bin;C:\ProgramFiles(x86)\sbt\bin;。。。(仅显示相关路径)
下载和解压缩Apache Spark 1.1.0并解压缩后,进入未压缩的顶级文件夹~/(Apache Spark文件夹)/
,并尝试运行sbt/sbt程序集
,使用cygwin命令提示符,我收到以下错误
[error] (streaming-flume-sink/compile:compile) java.io.IOException: Cannot run p
rogram "javac": CreateProcess error=2, The system cannot find the file specified
[error] (core/compile:compile) java.io.IOException: Cannot run program "javac":
CreateProcess error=2, The system cannot find the file specified
[error] Total time: 551 s, completed Oct 28, 2014 5:24:00 PM
因此,错误似乎是我无法在cygwin中运行javac
。嗯,我不能。因此,我也尝试了windows提示符,我的命令javac
实际上可以工作(因为环境变量已经设置好了)。再次尝试时,我得到了以下错误
`sbt/sbt assembly`.
C:\Program Files (x86)\spark-1.1.0>sbt\sbt assembly
'sbt\sbt' is not recognized as an internal or external command,
operable program or batch file.
>sbt/sbt assembly
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; sup
port was removed in 8.0
[info] Loading project definition from C:\Program Files (x86)\spark-1.1.0\project\projec
t
[info] Loading project definition from C:\Users\jim\.sbt\0.13\staging\ec3aa8f391
11944cc5f2\sbt-pom-reader\project
[warn] Multiple resolvers having different access mechanism configured with same
name 'sbt-plugin-releases'. To avoid conflict, Remove duplicate project resolve
rs (`resolvers`) or rename publishing resolver (`publishTo`).
[info] Loading project definition from C:\Program Files (x86)\spark-1.1.0\project
[error] Expected symbol
[error] Not a valid command: /
[error] /sbt
[error] ^
但是同一命令的各种变体也不起作用,切换出斜杠类型(sbt\sbt assembly
)
我还将spark放在一个没有空格的文件夹中:C:\ProgramFiles(x86)\spark
我需要做什么来组装/编译Spark
非常感谢。在Windows8中遇到了相同的问题,以下步骤修复了该问题
- 创建一个没有空间的文件夹,并从Program Files/Java复制内容
- 将路径和JAVA_HOME更新为新路径
- 启动Cygwin并尝试运行javac命令,以确保环境变量设置正确
- 尽管与此问题无关,但Scala安装的目录不应该有任何空间。我看到你已经在程序文件中安装了