Apache spark 在spark shell中获取spark驱动程序内存的命令是什么
我知道可以通过spark-env.sh文件获取与spark相关的配置,但是从spark shell获取该配置的命令是什么? 例如,为了获得spark.driver.memory,我应该使用它吗Apache spark 在spark shell中获取spark驱动程序内存的命令是什么,apache-spark,Apache Spark,我知道可以通过spark-env.sh文件获取与spark相关的配置,但是从spark shell获取该配置的命令是什么? 例如,为了获得spark.driver.memory,我应该使用它吗 set spark.driver.memory 上面的操作不起作用您可以在启动spark shell时提供内存作为配置 spark-shell --conf spark.driver.memory=2g 这将启动一个具有2g驱动器内存的spark shell。要在spark shell中访问它,可以
set spark.driver.memory
上面的操作不起作用您可以在启动spark shell时提供内存作为配置
spark-shell --conf spark.driver.memory=2g
这将启动一个具有2g驱动器内存的spark shell。要在spark shell中访问它,可以执行以下操作
val conf = sparkContext.getConf
val driverMemory = conf.get("spark.driver.memory")
这将返回
String=2g
谢谢,但一旦启动spark shell,如何检索值