Apache spark 外部洗牌服务的节点管理器堆大小_Apache Spark_Hadoop_Yarn_Apache Spark 2.0_Hdp

Apache spark 外部洗牌服务的节点管理器堆大小

apache-spark hadoop

Apache spark 外部洗牌服务的节点管理器堆大小,apache-spark,hadoop,yarn,apache-spark-2.0,hdp,Apache Spark,Hadoop,Yarn,Apache Spark 2.0,Hdp,我在spark集群中配置外部洗牌服务。说明下面的第五点是：通过在etc/hadoop/warn-env.sh中设置warn_HEAPSIZE（默认为1000）来增加NodeManager的堆大小，以避免在无序移动期间出现垃圾收集问题。什么是考虑到新尺寸的因素？推荐值是多少

我在spark集群中配置

外部洗牌服务

。说明下面的第五点是：通过在etc/hadoop/warn-env.sh中设置warn_HEAPSIZE（默认为1000）来增加NodeManager的堆大小，以避免在无序移动期间出现垃圾收集问题。

什么是考虑到新尺寸的因素？推荐值是多少