spark.python.worker.memory与spark.executor.memory的关系如何?

spark.python.worker.memory与spark.executor.memory的关系如何?,memory,apache-spark,pyspark,yarn,Memory,Apache Spark,Pyspark,Yarn,非常清楚不同的纱线和Spark内存相关设置之间的关系,除非涉及到Spark.python.worker.memory spark.python.worker.memory如何适应这种内存模型 Python进程是由spark.executor.memory还是warn.nodemanager.resource.memory mb管理的 更新 解释设置的作用,但不回答有关内存管理的问题,也不回答它与其他内存设置的关系。来自Apache spark邮件列表,spark.python.worker.me

非常清楚不同的纱线和Spark内存相关设置之间的关系,除非涉及到
Spark.python.worker.memory

spark.python.worker.memory
如何适应这种内存模型

Python进程是由
spark.executor.memory
还是
warn.nodemanager.resource.memory mb
管理的

更新

解释设置的作用,但不回答有关内存管理的问题,也不回答它与其他内存设置的关系。

来自Apache spark邮件列表,spark.python.worker.memory似乎是spark.executor.memory中内存的一个子集


从线程中可以看出:“spark.python.worker.memory用于executor中的python worker”

似乎在这里讨论,答案解释了设置的作用,而不是它与spark内存模型的其余部分的关系。