Apache spark 是否可以在Spark中以编程方式添加公平调度程序池?

Apache spark 是否可以在Spark中以编程方式添加公平调度程序池?,apache-spark,Apache Spark,我正在开发一个应用程序,其中多个用户使用相同的SparkContext向Spark群集启动查询 正如Spark文档所述(),使用公平调度程序,您可以为每个用户分配不同的池,他们将获得公平的群集资源份额,但每个池都将使用默认池配置(调度模式FIFO、权重1和分钟共享0)进行设置 由于我们事先不知道哪些用户可以连接到应用程序,因此无法为所有用户的公平调度程序池设置配置文件 因此,为了动态地为每个用户提供一个池,并使用公平调度模式设置每个池,我认为可能有两个选项: 更改默认池行为,以便将调度模式更改为

我正在开发一个应用程序,其中多个用户使用相同的SparkContext向Spark群集启动查询

正如Spark文档所述(),使用公平调度程序,您可以为每个用户分配不同的池,他们将获得公平的群集资源份额,但每个池都将使用默认池配置(调度模式FIFO、权重1和分钟共享0)进行设置

由于我们事先不知道哪些用户可以连接到应用程序,因此无法为所有用户的公平调度程序池设置配置文件

因此,为了动态地为每个用户提供一个池,并使用公平调度模式设置每个池,我认为可能有两个选项:

  • 更改默认池行为,以便将调度模式更改为公平。可能吗?怎么做
  • 以动态和编程方式生成调度程序池,以便在用户首次连接到应用程序时添加调度程序池,并且应使用公平调度模式创建该池。可能吗?怎么做
  • 提前谢谢