Hadoop可以做流媒体吗？

有人建议Hadoop做流媒体，并引用了Flume和Kafka作为例子

虽然我知道它们可能有流媒体功能，但我想知道它们是否可以与Storm/Spark/Flink等流媒体处理技术并驾齐驱。Kafka是一个“发布-订阅模型消息传递系统”，Flume是一个数据接收工具。即使它们与hadoop交互/集成，它们在技术上是“hadoop”本身的一部分吗

---

PS：我知道有一个完全不同的东西。

Hadoop只是纱线、HDFS和MapReduce。作为一个项目，它不适应（接近）实时摄取或处理

Hadoop Streaming是一种用于在文件系统流（标准输入/输出）之间操作数据的工具

Kafka不仅仅是一个发布/订阅消息队列

卡夫卡连接本质上是一个卡夫卡频道，用水槽术语来说。存在各种插件用于从不同的“源”读取数据，生成Kafka，然后存在“接收器”用于从Kafka到数据库或文件系统。从消费者的角度来看，这比部署在整个基础架构中的单一Flume代理更具可扩展性。如果您一直在寻找对Kafka的日志摄取，我个人认为Filebeat或Fluentd比Flume（没有Java依赖项）更好

Kafka Streams是与Storm、Flink和Samza相当的产品，但不存在对Thread或任何群集调度器的依赖，并且可以在任何JVM兼容的应用程序（例如Java web应用程序）中嵌入Kafka Streams处理器。如果不引入对某些外部系统的依赖，那么使用Spark或Flink很难做到这一点

Flume、NiFi、Storm、Spark等的唯一好处是它们对卡夫卡的赞美

因此，要回答这个问题，您需要使用其他工具来允许Hadoop处理和存储流数据