Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/multithreading/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 在spark shell中获取spark驱动程序内存的命令是什么_Apache Spark - Fatal编程技术网

Apache spark 在spark shell中获取spark驱动程序内存的命令是什么

Apache spark 在spark shell中获取spark驱动程序内存的命令是什么,apache-spark,Apache Spark,我知道可以通过spark-env.sh文件获取与spark相关的配置,但是从spark shell获取该配置的命令是什么? 例如,为了获得spark.driver.memory,我应该使用它吗 set spark.driver.memory 上面的操作不起作用您可以在启动spark shell时提供内存作为配置 spark-shell --conf spark.driver.memory=2g 这将启动一个具有2g驱动器内存的spark shell。要在spark shell中访问它,可以

我知道可以通过spark-env.sh文件获取与spark相关的配置,但是从spark shell获取该配置的命令是什么? 例如,为了获得spark.driver.memory,我应该使用它吗

set spark.driver.memory 

上面的操作不起作用

您可以在启动spark shell时提供内存作为配置

spark-shell --conf spark.driver.memory=2g
这将启动一个具有2g驱动器内存的spark shell。要在spark shell中访问它,可以执行以下操作

val conf = sparkContext.getConf
val driverMemory = conf.get("spark.driver.memory")

这将返回
String=2g

谢谢,但一旦启动spark shell,如何检索值