Apache spark 当我在spark cluster上运行我的程序时,如何选择更快的机器来运行我的程序?

Apache spark 当我在spark cluster上运行我的程序时,如何选择更快的机器来运行我的程序?,apache-spark,Apache Spark,我有一个包含8台机器的火花盘, 但其中两台是旧电脑,运行速度很慢, 所以我只想让其中的6个跑起来, 我只知道我可以用--num executor使6台计算机运行, 但是我想让6台新的计算机运行我的程序,我该怎么做呢?如果您使用纱线作为资源管理器,您可以指定执行器的内存大小大于旧计算机上的可用内存量。这将让你实现你所追求的目标。(-执行器存储器10g) 否则,您将需要一个名为纱线标签的功能:

我有一个包含8台机器的火花盘, 但其中两台是旧电脑,运行速度很慢, 所以我只想让其中的6个跑起来, 我只知道我可以用--num executor使6台计算机运行,
但是我想让6台新的计算机运行我的程序,我该怎么做呢?

如果您使用纱线作为资源管理器,您可以指定执行器的内存大小大于旧计算机上的可用内存量。这将让你实现你所追求的目标。(-执行器存储器10g)

否则,您将需要一个名为纱线标签的功能: