Spring batch 远程分区:使用Kafka作为中间层的Spring批处理

Spring batch 远程分区:使用Kafka作为中间层的Spring批处理,spring-batch,spring-integration,Spring Batch,Spring Integration,有人可以用Kafka作为中间层来帮助进行一些远程分区查询吗 在带有分区类的主应用程序中,返回一个映射的映射,其中包含工作人员将执行的操作的完整信息,但我可以看到Kafka消息包含的信息非常有限” {“stepExecutionId”:442,“stepName”:“workerStep”,“jobExecutionId”:121}“ 当Kafka用作中间磨损时,我们应该在Kafka(最佳实践)中保留多少个分区Kafka分区的数量应该等于辅助节点的数量。每个辅助节点从一个Kafka主题读取数据

有人可以用Kafka作为中间层来帮助进行一些远程分区查询吗

  • 在带有分区类的主应用程序中,返回一个映射的映射,其中包含工作人员将执行的操作的完整信息,但我可以看到Kafka消息包含的信息非常有限”
    {“stepExecutionId”:442,“stepName”:“workerStep”,“jobExecutionId”:121}“

  • 当Kafka用作中间磨损时,我们应该在Kafka(最佳实践)中保留多少个分区Kafka分区的数量应该等于辅助节点的数量。每个辅助节点从一个Kafka主题读取数据

  • 提前谢谢

  • 工作者从数据库中检索信息

  • 您至少需要与工作区数量相同的分区;通常,最好是过度配置分区,以便以后可以扩展工作区,而无需更改代理中的任何内容


  • 谢谢Gary 1。这就像远程机器之间没有共享的作业存储库一样,远程分区无法实现,或者有某种可配置的方式,我可以将机器的作业存储库隔离并运行远程分区。(主服务器和工作服务器仅通过Kafka进行通信,而工作服务器不从公共作业存储库获取信息)2.如果必须使用作业存储库,并且工作人员从数据库(作业存储库)检索信息,则Kafka消息包含需要查询的记录的主键信息?否;这是不可能的;远程工作人员必须访问与分区程序相同的
    作业存储库
    。除了返回执行结果外,远程工作者还更新数据库中的状态。