Spring boot 是否可以使用SpringCloudDataflow在无限运行的应用程序中协调长时间运行的外部批处理作业?

Spring boot 是否可以使用SpringCloudDataflow在无限运行的应用程序中协调长时间运行的外部批处理作业?,spring-boot,spring-batch,spring-cloud-dataflow,spring-batch-admin,Spring Boot,Spring Batch,Spring Cloud Dataflow,Spring Batch Admin,我们有在每个应用程序中定义了触发器的字符串批处理应用程序 每个批处理应用程序使用不同的参数运行数十个类似的作业,并且每个应用程序能够使用1400个MiB来完成这一任务 我们使用几年前就不推荐使用的SpringBatch管理来启动单个作业,并简要概述作业中的内容。迁移指南建议用Spring云数据流替换Spring批处理管理 SpringCloudDataflow文档提到从MavenRepo获取jar并使用一些参数运行它。我不喜欢等待应用程序下载20秒、应用程序启动2分钟以及所有安全/证书/防火墙问

我们有在每个应用程序中定义了触发器的字符串批处理应用程序

每个批处理应用程序使用不同的参数运行数十个类似的作业,并且每个应用程序能够使用1400个MiB来完成这一任务

我们使用几年前就不推荐使用的SpringBatch管理来启动单个作业,并简要概述作业中的内容。迁移指南建议用Spring云数据流替换Spring批处理管理

SpringCloudDataflow文档提到从MavenRepo获取jar并使用一些参数运行它。我不喜欢等待应用程序下载20秒、应用程序启动2分钟以及所有安全/证书/防火墙问题的想法。我如何才能跨内部网下载专有jar


我希望通过IP/端口在SpringCloudDataflow中注册现有应用程序,并将作业定义传递给SpringBatch应用程序,并监视执行情况,包括停止作业的能力。Spring Cloud数据流可用于此目的吗?

这里没有什么东西需要解包。这里有一个尝试

SpringCloudDataflow文档提到从MavenRepo获取jar并使用一些参数运行它。我不喜欢等待应用程序下载20秒,应用程序启动2分钟,以及所有的安全/证书/防火墙问题

是的,有一个应用程序解析过程。然而,一旦下载,我们将重用Maven缓存中的应用程序

至于2mins引导窗口,它取决于引导和配置对象的数量,当然还有您的业务逻辑。也许你的情况就是2分钟

如何跨内部网下载专有jar

有一个选项可以从防火墙后面托管的Maven artifactory中解析工件-我们在这个模型上为专有JAR提供了用户

每个批处理应用程序使用不同的参数运行数十个类似的作业,并且每个应用程序能够使用1400个MiB来完成这一任务

你可能想考虑一下这个特性。它不仅能够以直接非循环图的形式启动子任务,还允许基于每个节点的退出代码进行转换,以进一步拆分和分支以启动更多任务。当然,所有这些都会在每个执行级别自动记录,以便从SCDF仪表板进一步跟踪和监控

我希望通过IP/端口在SpringCloudDataflow中注册现有应用程序,并将作业定义传递给SpringBatch应用程序,并监视执行情况,包括停止作业的能力

就批处理作业包装到Spring云任务应用程序而言,是的,您可以在SCDF中注册它们并在DSL中使用,或者将它们拖放到可视画布中,以创建连贯的数据管道。我们有一些批处理作业作为任务和示例