logstash能否直接从远程日志读取?
我是logstash的新手,几天来我一直在读这方面的文章。和大多数人一样,我正在尝试建立一个集中的日志系统,将数据存储在elasticsearch中,然后使用kibana将数据可视化。我的应用程序部署在许多服务器中,因此我需要从所有这些服务器获取日志。在所有这些机器中安装logstash转发器并配置它们似乎是一项非常繁琐的任务(如果这是唯一的方法,我会这样做)。logstash是否有办法通过提及conf文件中某个地方的日志URL来访问这些日志,而不是通过logstash转发器将其转发给logstash?仅供参考,我的应用程序部署在tomcat上,可以通过URL http://:8080/application\u name/error.log访问日志。不直接访问,但有一些解决方法-其想法是创建一个程序/脚本,使用curl(或等效工具)有效地执行远程日志文件的“tail-f”,并将输出运行到logstash 下面是一个bash脚本,它实现了以下功能: url tail.sh 此bash脚本监视url的更改,并将其尾部打印到 标准输出。它充当“tail-f”linux命令。这可能会有帮助 用于跟踪可通过http访问的日志 另一个类似的例子如下: 还有一些是用php或java编写的: 一旦你有了这个问题,问题是如何把它放到日志库中-你可以:logstash能否直接从远程日志读取?,logstash,Logstash,我是logstash的新手,几天来我一直在读这方面的文章。和大多数人一样,我正在尝试建立一个集中的日志系统,将数据存储在elasticsearch中,然后使用kibana将数据可视化。我的应用程序部署在许多服务器中,因此我需要从所有这些服务器获取日志。在所有这些机器中安装logstash转发器并配置它们似乎是一项非常繁琐的任务(如果这是唯一的方法,我会这样做)。logstash是否有办法通过提及conf文件中某个地方的日志URL来访问这些日志,而不是通过logstash转发器将其转发给logst
魔鬼在于细节,特别是在使用logstash时,因此您需要进行实验,但这种方法应该适合您。不是直接的,但有一些解决方法-想法是创建一个程序/脚本,使用curl(或其等效物)有效地执行远程日志文件的“tail-f”,并将输出运行到logstash 下面是一个bash脚本,它实现了以下功能: url tail.sh 此bash脚本监视url的更改,并将其尾部打印到 标准输出。它充当“tail-f”linux命令。这可能会有帮助 用于跟踪可通过http访问的日志 另一个类似的例子如下: 还有一些是用php或java编写的: 一旦你有了这个问题,问题是如何把它放到日志库中-你可以:
魔鬼在于细节,尤其是logstash,因此您需要进行试验,但这种方法应该适合您。谢谢John。我会试试看它是否对我有效。我也遇到了类似的情况。是否可以通过一些API将CSV或JSON数据直接提取到Logstash中?谢谢John。我会试试看它是否对我有效。我也遇到了类似的情况。是否可以通过一些API将CSV或JSON数据直接提取到Logstash中?