Apache flink 弗林克间歇连续运行

Apache flink 弗林克间歇连续运行,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我有份工作。持续跑步的最佳方式是什么?(完成后需要重新启动,因为流作业可以提供新数据) 如果作业完成,我想立即重新启动它 无限循环和内部调用任务 制作bash脚本并始终将作业推送到jobmanager中?(我认为这是一个巨大的资源浪费) 在一个类似的用例中,我们对同一个集合运行Flink job,感谢您;我们定期触发新作业。[每日、每小时等]可用于调度。这不是你所说的。但是,一个非常接近的匹配可能足以解决您的用例。为什么不首先使用流式作业?@MatthiasJ.Sax您认为如何?我想读mon

我有份工作。持续跑步的最佳方式是什么?(完成后需要重新启动,因为流作业可以提供新数据)

如果作业完成,我想立即重新启动它

  • 无限循环和内部调用任务
  • 制作bash脚本并始终将作业推送到jobmanager中?(我认为这是一个巨大的资源浪费)

在一个类似的用例中,我们对同一个集合运行Flink job,感谢您;我们定期触发新作业。[每日、每小时等]可用于调度。这不是你所说的。但是,一个非常接近的匹配可能足以解决您的用例。

为什么不首先使用流式作业?@MatthiasJ.Sax您认为如何?我想读mongodb的新唱片。。。什么会触发流?流是为连续输入处理而设计(并优化)的,而不是为批处理作业(以不同方式优化的批处理作业)我引用了您的问题:“它需要在完成后重新启动,因为流处理作业可以提供新数据”。也许你可以更详细地描述一下你的整体设置。是否要在每个批处理作业中处理来自MongoDB的所有数据?或者你处理一个“差异”?我有一个收集,一个流作业,当它来自卡夫卡时,写新的数据。聚合器从集合中获取所有数据,过滤(检查它们的依赖关系是否已经存在),处理并删除已处理的数据(集合中仍有一些数据,可以在下一次迭代中处理)@MatthiasJ.Sax mongo流的主要问题:您无法检测文档何时处理,如果处理需要很长时间,您可以从集合中提取。