Apache spark 有人能解释spark执行器内存分配吗?或者可以参考更具洞察力的链接

Apache spark 有人能解释spark执行器内存分配吗?或者可以参考更具洞察力的链接,apache-spark,pyspark,Apache Spark,Pyspark,我在docker compose上运行spark,设置为2人。 在提交了带有以下conf设置的spark作业之后,我希望spark worker容器中运行executor的进程不会消耗超过1GB的内存,但我认为不会发生这种情况 "spark.cores.max": 2, "spark.executor.cores": 1, "spark.executor.memory": "10

我在docker compose上运行spark,设置为2人。 在提交了带有以下conf设置的spark作业之后,我希望spark worker容器中运行executor的进程不会消耗超过1GB的内存,但我认为不会发生这种情况

        "spark.cores.max": 2,
        "spark.executor.cores": 1,
        "spark.executor.memory": "1024m",
在htop输出中,您可以看到它几乎使用了double。 我肯定错过了一些基本的方面。任何帮助都将不胜感激