Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/maven/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Maven似乎忽视了Maven_的选择_Maven_Apache Spark - Fatal编程技术网

Maven似乎忽视了Maven_的选择

Maven似乎忽视了Maven_的选择,maven,apache-spark,Maven,Apache Spark,我实际上是在和spark一起工作,我正在努力增加heapspace 我读了几个主题,并进行了跟踪 我正在windows上工作,我已经设置了变量环境:MAVEN_OPTS=-Xmx512mwithset MAVEN_OPTS=-Xmx512m并使用set M 但是,Xmx值设置为什么。我也有同样的错误 Caused by: java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200.

我实际上是在和spark一起工作,我正在努力增加heapspace

我读了几个主题,并进行了跟踪

我正在windows上工作,我已经设置了变量环境:
MAVEN_OPTS=-Xmx512m
with
set MAVEN_OPTS=-Xmx512m
并使用
set M

但是,Xmx值设置为什么。我也有同样的错误

 Caused by: java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
有没有办法检查jvm的最大堆空间是多少? 或者在实例化spark会话时是否有变通方法?例如
SparkSession.builder.config(“spark.driver.memory”,“512m”)

我实际上是在Windows上从命令行
mvn测试运行maven。测试实例化了导致错误的sparkSession

当我在scala中编码时,对于测试插件,我有以下内容:

        <plugin>
            <groupId>org.scalatest</groupId>
            <artifactId>scalatest-maven-plugin</artifactId>
            <version>2.0.0</version>
            <executions>
                <execution>
                    <id>test</id>
                    <goals>
                        <goal>test</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>

org.scalatest
scalatest maven插件
2.0.0
测试
测试

如果导致溢出问题的原因是scalatest maven插件正在派生另一个JVM,我建议您使用适当的
-X
选项包括
argLine
属性:

<plugin>
    <groupId>org.scalatest</groupId>
    <artifactId>scalatest-maven-plugin</artifactId>
    <version>2.0.0</version>
    <configuration>
        <argLine>-Xmx512m</argLine>
        ...
    </configuration>
    ...
<plugin>

org.scalatest

.

你的工作环境是什么?你是怎么运行Maven的?命令行?石斑鱼类?你是如何设置MAVEN_选项的?系统变量?IDE设置?你什么时候得到那个错误的?当你运行你的应用程序时,看起来你已经得到了它。如果是这样,它与Maven无关。我们需要了解更多以了解发生了什么。更新,没错,我没有告诉你我在命令行中使用mvn测试运行它。你确定你没有派生另一个进程来运行spark吗?我不认为MAVEN_选项对spark的执行有任何影响。您需要设置
spark.driver.memory
,例如在您的spark-default.conf文件中。您使用什么插件来运行测试?我想发布插件的配置会很有用。我遇到的第二个问题是我没有禁用surefire。谢谢你的启发