Apache spark 显示执行器和执行器内存的数量

Apache spark 显示执行器和执行器内存的数量,apache-spark,pyspark,Apache Spark,Pyspark,我正在使用命令运行pyspark作业 spark提交。/exp-1.py--num executors 8--executor内存4G 是否有方法确认这些配置在执行期间得到反映?有一个命令verbose用于在spark作业运行时检查配置 spark-submit --verbose ./exp-1.py --num-executors 8 --executor-memory 4G 您尝试过spark web ui吗?谢谢,在spark web ui中获得了相关信息。但它显示内存几乎是我分配给每

我正在使用命令运行pyspark作业

spark提交。/exp-1.py--num executors 8--executor内存4G


是否有方法确认这些配置在执行期间得到反映?

有一个命令
verbose
用于在spark作业运行时检查配置

spark-submit --verbose ./exp-1.py --num-executors 8 --executor-memory 4G

您尝试过spark web ui吗?谢谢,在spark web ui中获得了相关信息。但它显示内存几乎是我分配给每个执行器的内存的一半。