elasticsearch 用于实时BI的卡夫卡或redis

我正在从事一个实时商业智能项目，我正在使用弹性堆栈spark streaming和kafka？但我想知道我是否可以使用redis而不是kafka，因为redis似乎是一个内存中的野兽，可以实时转发数据，我很困惑，有谁能帮我选择正确的技术吗？我之前在这里发布了一个问题，实时BI的体系结构是什么，他们建议我下一个体系结构： LOgstash=>kafka=>spark流媒体=>elasticsearch=>kibana

---

谢谢你的回答

简而言之，如果数据大，数据应该重复使用，你应该首先考虑卡夫卡。 在以最小延迟处理实时消息时，应首先尝试Redis

您可以尝试Redis，因为Redis可以支持生产ELK（Elasticsearch、Logstash、Kibana）堆栈。 Redis是一个内存存储。这意味着它使用主内存进行存储和处理，这使得它比基于磁盘的Kafka快得多。Redis内存存储的唯一问题是我们不能长时间存储大量数据。 由于内存中的主内存比磁盘小，我们必须定期将数据从内存中自动移动到磁盘并为新数据腾出空间来清除它。 此外，Redis不像Kafka那样具有并行性的概念，即多个进程可以同时使用数据

使用Redis的体系结构： logstash（托运人）->redis弹性搜索->kibana。 Redis还具有缓冲功能，以防logstash（索引器）关闭

要知道，如何将redis与logstash和elastic结合使用， 下面是一个很好的解释：-

要收集有关redis vs kafka的知识，您可以查看以下链接：-

---

嗨，Drissi，看看我刚才给出的另一个答案，它试图描绘Spark数据库生态系统：它应该能让你对不同的数据库有更多的了解，你可以与Spark一起使用这些数据库来执行或服务实时分析类查询这也很有帮助，非常感谢