Apache spark Kubernetes火花核分配问题

Spark分配核心—如果没有充分利用它们，就Kubernetes而言，群集中的AgentPool将有足够的CPU资源来完成其工作，Spark将有0个可用的核心来完成工作。如果有0个内核可用于工作，则Spark会将驱动程序和应用程序发送到等待状态。所以Spark会认为它没有资源做任何工作，而KUbernetes会认为有足够的资源做这项工作。这个问题的解决方案是什么。

还没有了解您的问题，您能举个例子吗？我没有完全理解您的问题。请编辑它，并提供您当前的问题和预期的行为。认为它有80个核心可用。如果现在有81件工作进入集群，那么80个项目将分配一个驱动程序（它将为自己分配一个核心），第81个项目将进入等待状态。由于所有的内核都已分配，因此没有驱动程序会启动正在运行的应用程序，因为Spark认为没有任何内核可供工作。那么，您似乎正在寻找Kubernetes上的动态分配，该动态分配目前未添加到主Apache Spark发行版中。您需要适当地安装和安装。此外，已经合并到

master

，以支持动态分配，而无需外部洗牌服务