elasticsearch 卡夫卡vs filebeat将原木运送至logstash,elasticsearch,apache-kafka,microservices,filebeat,elasticsearch,Apache Kafka,Microservices,Filebeat" /> elasticsearch 卡夫卡vs filebeat将原木运送至logstash,elasticsearch,apache-kafka,microservices,filebeat,elasticsearch,Apache Kafka,Microservices,Filebeat" />

elasticsearch 卡夫卡vs filebeat将原木运送至logstash

elasticsearch 卡夫卡vs filebeat将原木运送至logstash,elasticsearch,apache-kafka,microservices,filebeat,elasticsearch,Apache Kafka,Microservices,Filebeat,我目前正在建立中央日志记录系统(使用ELK),该系统估计可以从100个微服务获取日志数据,并可以扩展更多。要求具有最小延迟和高可用性的解决方案 现在我被设计应该是什么样子的问题所困扰。 在通过互联网学习的过程中,我得到了以下广泛用于此类需求的方法 微服务->文件节拍->卡夫卡->日志存储->弹性搜索->Kibana 然而,我很难理解filebeat在这种情况下是否真的有用。 如果我直接将日志流式传输到卡夫卡,然后由卡夫卡将其发送到logstash会怎么样?这将帮助我克服日志文件的维护问题,而且可

我目前正在建立中央日志记录系统(使用ELK),该系统估计可以从100个微服务获取日志数据,并可以扩展更多。要求具有最小延迟和高可用性的解决方案 现在我被设计应该是什么样子的问题所困扰。 在通过互联网学习的过程中,我得到了以下广泛用于此类需求的方法

微服务->文件节拍->卡夫卡->日志存储->弹性搜索->Kibana

然而,我很难理解filebeat在这种情况下是否真的有用。 如果我直接将日志流式传输到卡夫卡,然后由卡夫卡将其发送到logstash会怎么样?这将帮助我克服日志文件的维护问题,而且可以少监控和维护一个组件。 我认为使用kafka优于filebeat的一个优点是,在数据量非常大或无法访问ES群集的情况下,它可以充当缓冲区。资料来源:


我想了解使用filebeat是否有我无法实现的真正好处。

filebeat可以安装在您的每个服务器或节点上。Filebeat收集并快速发送日志。它是非常快速和轻量级,写在围棋

在您的情况下,优点是您不必花时间开发收集和发送日志的相同功能。您只需为日志体系结构使用和配置Filebeat。这很方便

有关Filebeat的另一个说明,请访问