Logstash 此体系结构中是否需要Logstsh shipper实例和redis?

Logstash 此体系结构中是否需要Logstsh shipper实例和redis?,logstash,syslog-ng,Logstash,Syslog Ng,我使用Logstash、redis、elastic search和kibana创建了一个演示环境。( 这里,logstash shipper从日志文件中读取日志,我使用syslog ng集中了日志文件。Loogstash shipper将日志文件转发给redis,然后转发给logstash indexer(过滤器),最后转发给Elasticsearch 现在我想跳过logstash shipper和redis部分。这是个好主意吗?或者redis是强制性的,或者需要处理重载。我不确定 在上面的pd

我使用Logstash、redis、elastic search和kibana创建了一个演示环境。(

这里,logstash shipper从日志文件中读取日志,我使用syslog ng集中了日志文件。Loogstash shipper将日志文件转发给redis,然后转发给logstash indexer(过滤器),最后转发给Elasticsearch

现在我想跳过logstash shipper和redis部分。这是个好主意吗?或者redis是强制性的,或者需要处理重载。我不确定

在上面的pdf链接中,我读到Logstash的缓冲区较低,redis管理日志流,这就是为什么使用redis。由于redis将数据保存在内存中,如果内存已满,该怎么办?还读到Logstash和Elasticsearch在RAM使用方面可能非常匮乏。JVM选项需要适当调整。如果是这样,如何调整JVM

是否需要清除/旋转elasticsearch数据/索引

那么,哪一个最适合重载呢?我想解析日志,比如[系统(OS和守护进程)日志、系统日志、web服务器日志(apache、lighttpd)、应用服务器日志(tomcat)、数据库服务器日志(mysql)和一些应用程序日志(通过日志文件)]

提出你的改进建议。谢谢

请找到以下图片链接


()

在您描述的设置中,不需要Redis,当使用多个托运人时,使用syslog ng集中日志文件与Redis的用途相同。
可能需要删减elasticsearch索引以减少磁盘空间需求。这取决于elasticsearch数据的增长速度、可用磁盘空间以及需要搜索日志的时间


我不能就JVM调优提供建议。

发货人/代理应该在中央服务器的左侧……redis是中央服务器上的第一件事