Apache spark 火花驱动器存储器配置
我的Spark应用程序中出现以下错误:-Apache spark 火花驱动器存储器配置,apache-spark,amazon-ec2,spark-dataframe,Apache Spark,Amazon Ec2,Spark Dataframe,我的Spark应用程序中出现以下错误:- Container [pid=7115,containerID=container_1516699670283_0001_02_000001] is running beyond physical memory limits. Current usage: 1.4 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container. 我目前
Container [pid=7115,containerID=container_1516699670283_0001_02_000001] is running beyond physical memory limits. Current usage: 1.4 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.
我目前正在使用m3.2x大型EC2
实例()作为我的驱动程序资源
我这里有几个问题:
1) 如果我没有指定spark.driver.memory
,是否使用任何默认值
2) 在这种情况下,我应该指定驱动程序的哪个内存?1)spark.driver.memory的默认值是1g。(见附件) 2) 您需要指定spark.driver.memory、spark.driver.cores、spark.driver.maxResultSize(在链接后面阅读此参数)