Java 点火器上的火花是否使用点火器';如果这是真的,那是偷东西吗?

Java 点火器上的火花是否使用点火器';如果这是真的,那是偷东西吗?,java,hadoop,apache-spark,job-scheduling,ignite,Java,Hadoop,Apache Spark,Job Scheduling,Ignite,我使用spark来执行map reduce作业,但我遇到的一个问题是,当一个工作人员完成其任务份额,而其他工作人员的任务在其任务列表中排队时,空的工作人员就处于空闲状态。Ignite支持作业窃取,因此当一个工作线程空闲时,它可以从其他工作线程任务队列中获取 IgniteRDD是在Ignite群集上运行的spark RDD的实现。我想知道我是否保持我所有的spark RDD map reduce代码不变,但运行一个带有作业窃取算法集的ignite集群,并将spark JavaRDD更改为Igni

我使用spark来执行map reduce作业,但我遇到的一个问题是,当一个工作人员完成其任务份额,而其他工作人员的任务在其任务列表中排队时,空的工作人员就处于空闲状态。Ignite支持作业窃取,因此当一个工作线程空闲时,它可以从其他工作线程任务队列中获取

IgniteRDD是在Ignite群集上运行的spark RDD的实现。我想知道我是否保持我所有的spark RDD map reduce代码不变,但运行一个带有作业窃取算法集的ignite集群,并将spark JavaRDD更改为Ignited RDD它是否尊重作业窃取设置,还是与旧的spark静态分区到工作人员算法相同

我试着寻找,但还没有确定的答案。另外,要测试ignite需要做很多工作,所以我想ide应该先问一下

ApacheIgnite环境中计算所需的冲突SPI(JobStealingCollisionSpi作为可用实现之一)。没错,IgniteRDD提供了与旧的spark静态分区到workers算法相同的功能。如果你真的需要一个“窃取工作”的算法,你可以尝试将你的应用程序移动到ComputeAPI。ApacheIgnite提供友好的API并允许微调。更多细节你可以在那里找到