Apache flink Apache Flink中的动态作业数-处理任务槽

我正在评估潜在用例的

Apache-Flink

，我正在努力在

Flink

本身中对计算建模

在我的例子中，我将有许多（未知的前端）小型异构处理图，每个图都可以使用标准

Flink

DataStream

API的部分来处理来自外部传感器的数据。这些图中的每一个在计算上都不会很昂贵。我的第一个想法是将这些小图中的每一个都分开，并将其部署到

Flink

集群。问题是，由于不同作业的子任务之间不共享任务槽，因此我面临的情况是，我需要创建具有大量任务槽的任务管理器，但在我阅读的所有地方，建议将槽数与系统中的核心数相等

我发现了一篇关于在工作的本质是动态的情况下使用

Flink

的文章（），但是在

Flink

的基础上实现了某种自定义DSL，在这种情况下，将要创建的大多数图形都可以使用

DataStream

轻松表示，这对我来说并不是一个优雅的解决方案

---

Flink难道不是设计用来处理使用

DataStream

API定义的动态数量的作业，而

Flink

的方法是用单个元作业对我的用例建模，这些元作业足够通用，能够表达所有潜在的计算

在您的情况下，是否可以将传感器数据转储到Kafka，然后仅使用一个图形（固定拓扑）将其流式传输到Apache Flink，但使用传感器id扩充数据？