Apache spark 触发内存错误

我在spark/scala上运行了一张纸条，以收集计算结果。但是，当我运行以下操作时，结果数据集不会太大：

Result.collect()

我得到以下错误：

#java.lang.OutOfMemoryError: Java heap space
# -XX:OnOutOfMemoryError="kill -9 %p"
#   Executing /bin/sh -c "kill -9 10466"...
/usr/lib/spark/bin/spark-shell: line 41: 10466 Killed                         " $FWDIR"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" "$@"

我不确定为什么在运行scala时出现此错误，我使用了以下命令来增加内存：

spark-shell driver-memory 8G --executor-memory 8G --executor-cores 4 --num-executors 5

你能帮个忙吗

谢谢，

---

阿米尔

既然你正在收集，你应该调查

spark.driver.maxResultSize

---

另外，在spark shell中，您在指定驱动程序内存时错过了--。

如果您没有签出，这是一组很好的答案：。谢谢。这很有帮助。实际上，增加分区大小解决了这个问题。