Spring batch 远程分区:使用Kafka作为中间层的Spring批处理
有人可以用Kafka作为中间层来帮助进行一些远程分区查询吗Spring batch 远程分区:使用Kafka作为中间层的Spring批处理,spring-batch,spring-integration,Spring Batch,Spring Integration,有人可以用Kafka作为中间层来帮助进行一些远程分区查询吗 在带有分区类的主应用程序中,返回一个映射的映射,其中包含工作人员将执行的操作的完整信息,但我可以看到Kafka消息包含的信息非常有限” {“stepExecutionId”:442,“stepName”:“workerStep”,“jobExecutionId”:121}“ 当Kafka用作中间磨损时,我们应该在Kafka(最佳实践)中保留多少个分区Kafka分区的数量应该等于辅助节点的数量。每个辅助节点从一个Kafka主题读取数据
{“stepExecutionId”:442,“stepName”:“workerStep”,“jobExecutionId”:121}“
谢谢Gary 1。这就像远程机器之间没有共享的作业存储库一样,远程分区无法实现,或者有某种可配置的方式,我可以将机器的作业存储库隔离并运行远程分区。(主服务器和工作服务器仅通过Kafka进行通信,而工作服务器不从公共作业存储库获取信息)2.如果必须使用作业存储库,并且工作人员从数据库(作业存储库)检索信息,则Kafka消息包含需要查询的记录的主键信息?否;这是不可能的;远程工作人员必须访问与分区程序相同的
作业存储库
。除了返回执行结果外,远程工作者还更新数据库中的状态。