Hadoop spark在本地模式下提交-配置

我正在笔记本电脑（spark 1.6.1）上使用

--master local

执行

spark提交

，将数据加载到配置单元表中。笔记本电脑有8 GB RAM和4个内核。我没有手动设置任何属性-只是使用默认值

当我加载50k条记录时，作业成功完成。但当我尝试加载200k条记录时，我得到了一个“超出GC开销限制”错误

在--master local模式下，是否可以手动设置作业内存或堆内存的属性？

尝试增加--driver memory，-executor memory，两者的默认值均为1g

命令应如下所示：

spark-submit --master local --driver-memory 2g --executor-memory  2g  --class classpath jarfile

---

谢谢你的回复，阿文德。我会试试的。但就我而言，这是我的笔记本电脑——只有一台机器。司机是执行人。在这种情况下，我应该尝试不同的值--driver memory我的理解正确吗？@xplorerdev即使是一台机器，也有一台机器作为驱动者和执行者。若我看到这个程序，我可以理解您在驱动程序级别或执行程序级别收到错误“超出GC开销限制”。现在我不确定你到底在哪里出错。这就是我给出两个选择的原因。您可以先尝试--驱动程序内存，如果没有解决，请尝试--执行器内存。