Maven似乎忽视了Maven_的选择
我实际上是在和spark一起工作,我正在努力增加heapspace 我读了几个主题,并进行了跟踪 我正在windows上工作,我已经设置了变量环境:Maven似乎忽视了Maven_的选择,maven,apache-spark,Maven,Apache Spark,我实际上是在和spark一起工作,我正在努力增加heapspace 我读了几个主题,并进行了跟踪 我正在windows上工作,我已经设置了变量环境:MAVEN_OPTS=-Xmx512mwithset MAVEN_OPTS=-Xmx512m并使用set M 但是,Xmx值设置为什么。我也有同样的错误 Caused by: java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200.
MAVEN_OPTS=-Xmx512m
withset MAVEN_OPTS=-Xmx512m
并使用set M
但是,Xmx值设置为什么。我也有同样的错误
Caused by: java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
有没有办法检查jvm的最大堆空间是多少?
或者在实例化spark会话时是否有变通方法?例如SparkSession.builder.config(“spark.driver.memory”,“512m”)
我实际上是在Windows上从命令行mvn测试运行maven。测试实例化了导致错误的sparkSession
当我在scala中编码时,对于测试插件,我有以下内容:
<plugin>
<groupId>org.scalatest</groupId>
<artifactId>scalatest-maven-plugin</artifactId>
<version>2.0.0</version>
<executions>
<execution>
<id>test</id>
<goals>
<goal>test</goal>
</goals>
</execution>
</executions>
</plugin>
org.scalatest
scalatest maven插件
2.0.0
测试
测试
如果导致溢出问题的原因是scalatest maven插件正在派生另一个JVM,我建议您使用适当的-X
选项包括argLine
属性:
<plugin>
<groupId>org.scalatest</groupId>
<artifactId>scalatest-maven-plugin</artifactId>
<version>2.0.0</version>
<configuration>
<argLine>-Xmx512m</argLine>
...
</configuration>
...
<plugin>
org.scalatest
.你的工作环境是什么?你是怎么运行Maven的?命令行?石斑鱼类?你是如何设置MAVEN_选项的?系统变量?IDE设置?你什么时候得到那个错误的?当你运行你的应用程序时,看起来你已经得到了它。如果是这样,它与Maven无关。我们需要了解更多以了解发生了什么。更新,没错,我没有告诉你我在命令行中使用mvn测试运行它。你确定你没有派生另一个进程来运行spark吗?我不认为MAVEN_选项对spark的执行有任何影响。您需要设置spark.driver.memory
,例如在您的spark-default.conf文件中。您使用什么插件来运行测试?我想发布插件的配置会很有用。我遇到的第二个问题是我没有禁用surefire。谢谢你的启发