logstash和apache storm/spark流媒体之间的主要区别是什么?

logstash和apache storm/spark流媒体之间的主要区别是什么?,logstash,apache-storm,spark-streaming,Logstash,Apache Storm,Spark Streaming,我正在搜索一个分布式实时计算系统,该系统将从kafka服务器收集数据,以便处理数据,然后将其存储在ElasticSearch中。我已经选择了其中一些: 阿帕奇风暴 apachespark流媒体 和Logstash(这更像是一个ETL(提取、转换、加载)) 我已经找到了几个比较Storm和Spark流媒体的教程。然而,我并没有找到任何将logstash与storm和spark流相比较的教程。这对我来说是非常混乱的,因为我已经熟悉logstash,但是我想确保我选择了适合我需要的工具 提前感谢L

我正在搜索一个分布式实时计算系统,该系统将从kafka服务器收集数据,以便处理数据,然后将其存储在ElasticSearch中。我已经选择了其中一些:

  • 阿帕奇风暴
  • apachespark流媒体
  • 和Logstash(这更像是一个ETL(提取、转换、加载))
我已经找到了几个比较Storm和Spark流媒体的教程。然而,我并没有找到任何将logstash与storm和spark流相比较的教程。这对我来说是非常混乱的,因为我已经熟悉logstash,但是我想确保我选择了适合我需要的工具


提前感谢

Logstash是一个具有实时功能的数据采集引擎。它支持基于一些预定义指标的分析、归档、监视和警报。 -->Logstash是一种特定的产品、解决方案 apachespark和Storm是非常通用的分布式实时计算系统。
-->Apache Spark/Storm只是一般用途的框架/库。

Logstash是一个具有实时功能的数据收集引擎。它支持基于一些预定义指标的分析、归档、监视和警报。 -->Logstash是一种特定的产品、解决方案 apachespark和Storm是非常通用的分布式实时计算系统。
-->Apache Spark/Storm只是一般用途的框架/库。

好的,谢谢。在哪些用例中,与storm和spark流媒体相比,logstash可能不够充分?此外,它是否能在发布性能方面取得更好的进展?我只需要理解为什么像Twitter这样的公司使用storm或spark流媒体而不是logstash。对我来说,他们似乎做了同样的事情。让我们看看github上的定义:。“Logstash是一种管理事件和日志的工具。您可以使用它来收集日志、解析日志并存储日志以供以后使用(例如,用于搜索)。如果您将它们存储在Elasticsearch中,您可以使用Kibana查看和分析它们。Storm和Spark是通用框架,如果需要,它们可以用于实现与LogStash相同的功能。此外,它们还可以用于做许多不同的事情。我认为有些用例不适合LogStash,例如:实时分布式数据处理和分析。好的,谢谢。在什么情况下,logstash与storm和spark流媒体相比可能不够充分?此外,它在分发性能方面是否有更好的进步?我只需要理解为什么像Twitter这样的公司使用storm或spark流媒体而不是logstash。对我来说,他们似乎也这样做ng..让我们看看github上的定义:.“Logstash是一个管理事件和日志的工具。您可以使用它来收集日志,解析它们,并存储它们以供以后使用(例如,用于搜索)。如果您将它们存储在Elasticsearch中,您可以使用Kibana查看和分析它们。Storm和Spark是通用框架,如果需要,它们可以用于实现与LogStash相同的功能。此外,它们可以用来做很多不同的事情。我认为有些用例不适合日志存储,比如:实时分布式数据处理和分析。。