Apache flink 可行的流媒体建议|是否可以使用ApacheNIFI+；Apache Beam（在Flink集群上）具有实时流数据

因此，我对我尝试使用的所有Apache框架都非常陌生。我想听听您对物联网流媒体应用程序的几个工作流设计的建议：

因为我们有用于Flink的NiFi连接器，我们可以轻松地在Flink上使用波束提取。我可以使用NiFi作为数据流工具，将数据从MiNiFi驱动到Flink Cluster（这里将其存储在内存或其他地方），然后使用Beam管道进一步处理数据

梁是否有NiFi连接器？若否，我们可否这样做？因此，我们直接将数据从NiFi流式传输到Beam作业（在Flink集群上运行）

---

我仍处于早期设计阶段，如果我们能讨论可能的解决方法，那就太好了。如果您需要任何其他详细信息，请告诉我。

您能更详细地描述一下您的用例吗？我想将数据从Apache NiFi导入Apache Beam（在Flink Cluster上运行-使用新的便携式runner）@Turkertunali它确实取决于数据速率和容量等细节。我已经看到NiFi+Flink和Flink+Beam的一般设置在生产中运行良好，因此这三者的结合可能是完全可能的。您还可以补充一下为什么希望在这个体系结构中使用Beam吗？Beam只是为了简化管道和“pythonic”（我认为Flink Python仍处于相当早期的阶段）。你能详细描述一下吗？在没有NiFi和Beam连接器的情况下，我们如何使用组合（NiFi+Flink+Beam）（如果我们能在处理过程中稍微妥协的话）@ArvidHeise