Java Spring批处理远程分区如何与IBM LSF群集一起工作?
我们正在使用IBMLSF集群来执行计算密集型操作,并且已经在这些集群上运行了许多作业 现在,我正在做一些POC来评估Spring批处理作业如何用于卸载基本作业基础设施,并将重点放在业务逻辑(主要是数据转换)上 我找不到任何具体的来源来评估如何将分布在多个步骤中的作业进行分区,并将其提供给LSF集群,该集群可以以分布式方式并行处理这些步骤Java Spring批处理远程分区如何与IBM LSF群集一起工作?,java,spring-batch,Java,Spring Batch,我们正在使用IBMLSF集群来执行计算密集型操作,并且已经在这些集群上运行了许多作业 现在,我正在做一些POC来评估Spring批处理作业如何用于卸载基本作业基础设施,并将重点放在业务逻辑(主要是数据转换)上 我找不到任何具体的来源来评估如何将分布在多个步骤中的作业进行分区,并将其提供给LSF集群,该集群可以以分布式方式并行处理这些步骤 恕我所知,如果已经有可用的资源,请您给我指出正确的资源,或者在这里回答如何做到这一点?这里有任何解决方案吗?@ypriverol我后来改变了方法,在将作业提交给
恕我所知,如果已经有可用的资源,请您给我指出正确的资源,或者在这里回答如何做到这一点?这里有任何解决方案吗?@ypriverol我后来改变了方法,在将作业提交给LSF之前负责分区。对于springbatch,它需要知道LSF也在提交作业的节点或集群节点。但是,这种理解是基于我的简短研究,应该进一步研究。我认为,实现已经足够了,基本上就是将Spring批处理作业转换为LSF作业。但这也是我的简短研究,我找不到任何可靠的方法在底层LSF节点上分配工作负载。我自己进行分区,这需要bash中大量难看的代码,因为“bsub”实现只能从shell获得。这里有解决方案吗?@ypriverol我后来改变了方法,在作业提交给LSF之前负责分区。对于springbatch,它需要知道LSF也在提交作业的节点或集群节点。但是,这种理解是基于我的简短研究,应该进一步研究。我认为,实现已经足够了,基本上就是将Spring批处理作业转换为LSF作业。但这也是我的简短研究,我找不到任何可靠的方法在底层LSF节点上分配工作负载。我自己进行分区,这需要bash中大量难看的代码,因为“bsub”实现只能从shell中获得。