Apache spark 火花堆大小错误，即使RAM为32 GB且JAVA_选项=-Xmx8g_Apache Spark_Pyspark_Heap Memory_Cloudera Cdh

Apache spark 火花堆大小错误，即使RAM为32 GB且JAVA_选项=-Xmx8g

apache-spark pyspark

Apache spark 火花堆大小错误，即使RAM为32 GB且JAVA_选项=-Xmx8g,apache-spark,pyspark,heap-memory,cloudera-cdh,Apache Spark,Pyspark,Heap Memory,Cloudera Cdh,我有32 GB的物理内存，输入文件大小约为30 MB，我尝试使用下面的命令在客户机模式下提交spark作业 spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py 我的执行器空间是8g，但是得到下面的错误，请帮助我配置java堆内存。我读过关于使用命令行的--driver java选

我有32 GB的物理内存，输入文件大小约为30 MB，我尝试使用下面的命令在客户机模式下提交spark作业

spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py

我的执行器空间是8g，但是得到下面的错误，请帮助我配置java堆内存。我读过关于使用命令行的--driver java选项，但我不知道如何使用此选项设置java堆空间

任何人都请帮帮我

java.lang.OutOfMemoryError:java堆空间

您是否也尝试配置执行器内存？

像这样：“--executor memory 8g”

是的，我也使用了下面的，但是同样的错误也存在。spark submit—master Thread—packages com.databricks:spark-xml_2.10:0.4.1—驱动程序内存8g—执行程序内存8gericsson_xml_解析_版本_6_stage1.pythan可能确实没有足够的空间。输入文件大小为30MB并不保证RDD不会占用1000倍的空间。我不知道如何解决此问题，请给出解决方法。分析您的代码（可能在此处共享），或者尝试使用更小的输入文件，增加驱动程序/执行者内存这可能会对您有所帮助