Apache spark 是否可以在Spark中以编程方式添加公平调度程序池?
我正在开发一个应用程序,其中多个用户使用相同的SparkContext向Spark群集启动查询 正如Spark文档所述(),使用公平调度程序,您可以为每个用户分配不同的池,他们将获得公平的群集资源份额,但每个池都将使用默认池配置(调度模式FIFO、权重1和分钟共享0)进行设置 由于我们事先不知道哪些用户可以连接到应用程序,因此无法为所有用户的公平调度程序池设置配置文件 因此,为了动态地为每个用户提供一个池,并使用公平调度模式设置每个池,我认为可能有两个选项:Apache spark 是否可以在Spark中以编程方式添加公平调度程序池?,apache-spark,Apache Spark,我正在开发一个应用程序,其中多个用户使用相同的SparkContext向Spark群集启动查询 正如Spark文档所述(),使用公平调度程序,您可以为每个用户分配不同的池,他们将获得公平的群集资源份额,但每个池都将使用默认池配置(调度模式FIFO、权重1和分钟共享0)进行设置 由于我们事先不知道哪些用户可以连接到应用程序,因此无法为所有用户的公平调度程序池设置配置文件 因此,为了动态地为每个用户提供一个池,并使用公平调度模式设置每个池,我认为可能有两个选项: 更改默认池行为,以便将调度模式更改为