Apache spark spark.executor.memory未设置。显示默认值

Apache spark spark.executor.memory未设置。显示默认值,apache-spark,Apache Spark,我在客户端模式下启动了spark程序。创建SparkSession时,将spark.executor.memory设置为24g。但是,当我签入Spark UI日志时,我看到Spark.executor.memory是2g。为什么在创建SparkSession期间未设置该值?您在哪种模式下运行?纱线还是单机版?嗨,唐,你能在这里粘贴spark提交命令吗?您是作为独立部署、纱线部署还是Mesos部署运行?集群上是否有足够的资源?您正在使用检查点运行流/批处理哪个作业?嗨,Arnon,这是我的命令。斯

我在客户端模式下启动了spark程序。创建SparkSession时,将spark.executor.memory设置为24g。但是,当我签入Spark UI日志时,我看到Spark.executor.memory是2g。为什么在创建SparkSession期间未设置该值?

您在哪种模式下运行?纱线还是单机版?嗨,唐,你能在这里粘贴spark提交命令吗?您是作为独立部署、纱线部署还是Mesos部署运行?集群上是否有足够的资源?您正在使用检查点运行流/批处理哪个作业?嗨,Arnon,这是我的命令。斯巴基·阿农,这是我的命令。spark submit--class--deploy mode client--driver memory 24g,但后来我发现在客户端模式下,即使是执行器内存也必须在运行时通过spark submit传递。我在用大师的话来运行它。谢谢。warn-site.xml中的一些配置参数可能会导致这种情况。您可以在以下答案中找到有关这种情况的一些详细信息: