Java 在Spark中是否可以按顺序运行独立的阶段?

Java 在Spark中是否可以按顺序运行独立的阶段?,java,apache-spark,parallel-processing,sequential,stage,Java,Apache Spark,Parallel Processing,Sequential,Stage,我在Spark中运行一个作业,它有两个独立的阶段,并行运行,共享资源 我面临的问题有两个(假设最多64个并发任务): 正在运行的任务在阶段之间是不平衡的。 当一个阶段结束时,另一个阶段不会增加执行任务的数量。 特别是,我希望避免第二种情况(可能第一种情况是由任务的FIFO策略引起的),因为有时很多工作是在没有利用所有资源的情况下完成的。请注意,这个问题并不总是发生 是否有可能避免这种情况也将独立的阶段顺序化?我在工作中发现了这种可能性,而不是在舞台上

我在Spark中运行一个作业,它有两个独立的阶段,并行运行,共享资源

我面临的问题有两个(假设最多64个并发任务):

  • 正在运行的任务在阶段之间是不平衡的。

  • 当一个阶段结束时,另一个阶段不会增加执行任务的数量。

  • 特别是,我希望避免第二种情况(可能第一种情况是由任务的FIFO策略引起的),因为有时很多工作是在没有利用所有资源的情况下完成的。请注意,这个问题并不总是发生

    是否有可能避免这种情况也将独立的阶段顺序化?我在工作中发现了这种可能性,而不是在舞台上