Amazon web services 火花：螺纹中的异常；dag调度程序事件循环“；java.lang.OutOfMemoryError:java堆空间

使用spark-1.6.0-bin-hadoop2.6 据

我可以使用spark.executor.memory设置堆大小，它是spark submit的执行器内存

运行作业时，执行器内存未超过分配的内存，但我收到错误：

java.lang.OutOfMemoryError:java堆空间

我正在提交我的工作，包括：

./bin/spark-submit \
  --class edu.gatech.cse8803.main.Main \
  --master spark://ec2-52-23-155-99.compute-1.amazonaws.com:6066 \
  --deploy-mode cluster \
  --executor-memory 27G \
  --total-executor-cores 100 \
  /root/final_project/phenotyping_w_anchors_161-assembly-1.0.jar \
  1000

---

我使用的是2个m4.2x大型实例（32.0 GB，8核）

问题是没有足够的内存分配给驱动程序。 默认情况下，它被分配1024.0 MB

我通过添加

--驱动程序存储器3g

范例

./bin/spark-submit \
    --class edu.gatech.cse8803.main.Main \
    --master spark://ec2-52-23-155-99.compute-1.amazonaws.com:6066   \
    --deploy-mode cluster   \
    --executor-memory 27G   \
    --driver-memory 3g \
    /root/final_project/phenotyping_w_anchors_161-assembly-1.0.jar   \
    1000