Spring cloud dataflow 本地数据流服务器

Spring cloud dataflow 本地数据流服务器,spring-cloud-dataflow,Spring Cloud Dataflow,为了评估SCDF,我们一直在试验本地服务器模式,文档中说这只是为了开发,不确定这意味着什么。 问题: 但对于生产部署,SCDF是否只附带kubernetes、apache Thread或cloud foundry目标运行时。我们目前没有这些运行时。我们使用ansible部署微服务,并使用本地脚本来管理我们的基础设施和微服务 例如,不可能将docker compose yml更改为指向群集kafka,但不确定其自身是否需要群集或分布式(以减轻单点故障)的数据流服务器可能在负载平衡器后面运行多个数据

为了评估SCDF,我们一直在试验本地服务器模式,文档中说这只是为了开发,不确定这意味着什么。 问题: 但对于生产部署,SCDF是否只附带kubernetes、apache Thread或cloud foundry目标运行时。我们目前没有这些运行时。我们使用ansible部署微服务,并使用本地脚本来管理我们的基础设施和微服务

例如,不可能将docker compose yml更改为指向群集kafka,但不确定其自身是否需要群集或分布式(以减轻单点故障)的数据流服务器可能在负载平衡器后面运行多个数据流服务器进程

如果本地数据服务器模式适用于生产负载,请告知。或者,与本地数据服务器相比,cloud foundry或kubernetes版本的SCDF提供了哪些额外功能

平台(即cf、k8s等)要求可靠地运行流/任务应用程序,并在应用程序因任何原因崩溃时自动提供弹性。平台将在无需任何手动干预的情况下将其恢复。除此之外,平台还可以提供端到端的安全性、日志记录、度量、自动缩放功能、作业调度程序等。SCDF依赖并委托平台利用这些增值

例如,要使用PCF中的cron表达式调度任务/批处理作业,您可以使用SCDF的本地集成。这在本地服务器中不可用

看起来你有一个自己开发的类似平台的基础设施,为应用程序提供HA、FT和服务级别保证。在这段时间里,你可能想质疑这方面的研发工作,但这是一个完全不同的话题。这是关于选择平台与DIY的问题,我将在本回答中跳过这一点

现在回到你的问题上来

通过前面有多个实例和一个负载平衡器,可以避免本地服务器的SPOF。您只需记住,没有自动化来恢复这些实例并在出现故障时运行。也许你的DIY平台中也有一些东西可以解决这个问题


而且,是的,您可以自定义docker compose模板以插入任何您想要的内容。最后,它将帮助提供相关组件,然后使用它构建流/任务定义

谢谢,这很有帮助