spark.python.worker.memory与spark.executor.memory的关系如何?
非常清楚不同的纱线和Spark内存相关设置之间的关系,除非涉及到spark.python.worker.memory与spark.executor.memory的关系如何?,memory,apache-spark,pyspark,yarn,Memory,Apache Spark,Pyspark,Yarn,非常清楚不同的纱线和Spark内存相关设置之间的关系,除非涉及到Spark.python.worker.memory spark.python.worker.memory如何适应这种内存模型 Python进程是由spark.executor.memory还是warn.nodemanager.resource.memory mb管理的 更新 解释设置的作用,但不回答有关内存管理的问题,也不回答它与其他内存设置的关系。来自Apache spark邮件列表,spark.python.worker.me
Spark.python.worker.memory
spark.python.worker.memory
如何适应这种内存模型
Python进程是由spark.executor.memory
还是warn.nodemanager.resource.memory mb
管理的
更新
解释设置的作用,但不回答有关内存管理的问题,也不回答它与其他内存设置的关系。来自Apache spark邮件列表,spark.python.worker.memory似乎是spark.executor.memory中内存的一个子集
从线程中可以看出:“spark.python.worker.memory用于executor中的python worker”似乎在这里讨论,答案解释了设置的作用,而不是它与spark内存模型的其余部分的关系。