Apache spark Cloudera 5.6 spark memoryFraction设置
我有一个CDH5.6集群和5.6CDM(管理器)。我不确定在哪里可以设置spark的MemoryAction设置-Apache spark Cloudera 5.6 spark memoryFraction设置,apache-spark,cloudera,Apache Spark,Cloudera,我有一个CDH5.6集群和5.6CDM(管理器)。我不确定在哪里可以设置spark的MemoryAction设置- spark.storage.memoryFaction spark.shuffle.memoryFaction 要尝试不同的设置并查看示例应用程序的性能,请在创建spark上下文时执行以下操作: sparkContext = { val conf = new SparkConf() .setAppName("Appname") .set("sp
spark.storage.memoryFaction
spark.shuffle.memoryFaction
要尝试不同的设置并查看示例应用程序的性能,请在创建spark上下文时执行以下操作:
sparkContext = {
val conf = new SparkConf()
.setAppName("Appname")
.set("spark.storage.memoryFaction", "someval")
new SparkContext(conf)
}
或在执行spark提交时,添加:
--conf spark.storage.memoryFaction=1