Java sbt赢得';不要装配火花
我在机器上使用sbt组装Spark时遇到问题。 尝试在不分配额外内存的情况下在垃圾回收器上运行程序集,可能会耗尽或超时;确切的问题在我尝试过的不同时期有所不同。但是,由于sbt不将-Xmx或-Xms识别为命令,因此任何通过Xmx或Xms修改分配内存的尝试,无论是提供更多还是限制,都会失败 以下是我一直在尝试的命令类型的示例(来自Spark的源目录): 以下是我收到的错误:Java sbt赢得';不要装配火花,java,memory-management,command-line,sbt,apache-spark,Java,Memory Management,Command Line,Sbt,Apache Spark,我在机器上使用sbt组装Spark时遇到问题。 尝试在不分配额外内存的情况下在垃圾回收器上运行程序集,可能会耗尽或超时;确切的问题在我尝试过的不同时期有所不同。但是,由于sbt不将-Xmx或-Xms识别为命令,因此任何通过Xmx或Xms修改分配内存的尝试,无论是提供更多还是限制,都会失败 以下是我一直在尝试的命令类型的示例(来自Spark的源目录): 以下是我收到的错误: java.util.concurrent.ExecutionException:java.lang.OutOfMemoryE
java.util.concurrent.ExecutionException:java.lang.OutOfMemoryError: GC overhead limit exceeded
Use 'last' for the full log.
Not a valid command: Xmx2g
Not a valid project: Xmx2g
Expected ':' (if selecting a configuration)
Not a valid key: Xmx2g
Xmx2g
^
我正在运行64位Java,版本1.8.0_20。检查文档:
设置Maven的内存使用情况
您需要通过设置Maven_OPTS来配置Maven以使用比平时更多的内存。我们建议使用以下设置:
导出MAVEN_OPTS=“-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512M”
然后,您可以使用以下工具进行构建:
mvn -DskipTests package
尝试创建一个新的环境变量
SBT\u OPTS
,其值为“-XX:MaxPermSize=1024m”
。这应该给sbt所需的内存,而不会产生错误。但他想用sbt而不是Maven来构建它。。。
mvn -DskipTests package