Logging 将ApacheKafka与logstash一起使用的实用程序是什么？

我期待着实时收集来自特定web应用程序的日志流量，以便全面了解我的基础架构的性能。作为工具，我将使用Elk而不是Splunk，由于一些文章的原因，他们极力建议使用带有logstash的Kafka，但直到现在我还不知道其目的，事实上，我的主要目的是为应用程序设置基本模块，以便我得到响应。

为了简化此部署，web服务器后端可以直接登录到Kafka

如果您有日志文件，则可以使用或Fluentd的Kafka输出，而不是Logstash

Logstash本质上是一个聚合器，可以在

输入->过滤器->输出之间执行操作

卡夫卡是一种搜索，而不是典型的弹性搜索

我在Logstash+Filebeat中看到的问题是，您必须重新启动所有进程和配置，以添加类似于SplunkForwarder的输入事件源，并且如果Logstash配置中没有一些疯狂的标记逻辑，您无法非常轻松地配置每个输入的唯一主题。我认为，更具可扩展性的解决方案是将数据源配置为它写入的卡夫卡主题

推荐卡夫卡的主要原因是在之前
感谢您的回复，我想知道web服务器后端是否可以直接登录到Logstah input，而无需任何中间版本，如果可以，实时管理和处理从应用程序接收的日志是最好的解决方案吗？Logstash应该在自己的服务器上运行，并且至少有6G java堆空间用于生产部署。您还可以将多个Logstash安装为群集。。。但你需要一些“东西”向它发送数据。Filebeat和Packetbeat可能正在web服务器上运行。Kafka还可以将数据发送到Logstash，以防你觉得这是一个或另一个事实上，我用Logstash从CSV文件中读取了400 MB的数据，并将所有事件发送到Elasticsearch，只需1 G java堆，6 GO即使从一个小文件读取也不是一个巨大的库存量？根据你的回答，将日志从web服务器发送到Logstash input需要一个中间层。在我的情况下，我会部署Kafka，希望这是最好的解决方案。非常感谢您的帮助如何将多个Logstash安装为一个群集？如果您只有一个数据源，1G就足够了，但最终您将拥有更多数据，因此，提前增加内存将是一个好主意。卡夫卡和Zookeeper的内存同样需要在这些数量左右