Concurrency 数据摄取-具有并发性的大规模并行处理

我正在寻找一个具有并发性的大规模并行处理系统，它可以为每500毫秒超过一百万个物联网设备提供无缝数据摄取解决方案

寻找不同协议的开源、高度可扩展的富库，支持ESB，并且可以管理多线程而不会出现任何故障

---

Apache Beam、Apache Nifi、Apache Camel或WSO2是更好的选择。

我最喜欢的摄入解决方案是Apache Nifi。让我只提几点，它们似乎涵盖了您所寻找的内容：

丰富性：在撰写本文时，NiFi拥有约280个随附的现成处理器，允许您轻松处理许多数据源

可扩展性：NiFi已被证明可与数百个节点并行工作，允许每秒产生大量数据量和大量事件

开源：NiFi是100%开源的

---

完全披露：我没有使用过您提到的其他解决方案，我是NiFi背后的驱动力Cloudera的员工。

关于推荐软件的问题是离题的。请改用。