logstash能否直接从远程日志读取?

logstash能否直接从远程日志读取?,logstash,Logstash,我是logstash的新手,几天来我一直在读这方面的文章。和大多数人一样,我正在尝试建立一个集中的日志系统,将数据存储在elasticsearch中,然后使用kibana将数据可视化。我的应用程序部署在许多服务器中,因此我需要从所有这些服务器获取日志。在所有这些机器中安装logstash转发器并配置它们似乎是一项非常繁琐的任务(如果这是唯一的方法,我会这样做)。logstash是否有办法通过提及conf文件中某个地方的日志URL来访问这些日志,而不是通过logstash转发器将其转发给logst

我是logstash的新手,几天来我一直在读这方面的文章。和大多数人一样,我正在尝试建立一个集中的日志系统,将数据存储在elasticsearch中,然后使用kibana将数据可视化。我的应用程序部署在许多服务器中,因此我需要从所有这些服务器获取日志。在所有这些机器中安装logstash转发器并配置它们似乎是一项非常繁琐的任务(如果这是唯一的方法,我会这样做)。logstash是否有办法通过提及conf文件中某个地方的日志URL来访问这些日志,而不是通过logstash转发器将其转发给logstash?仅供参考,我的应用程序部署在tomcat上,可以通过URL http://:8080/application\u name/error.log访问日志。

不直接访问,但有一些解决方法-其想法是创建一个程序/脚本,使用curl(或等效工具)有效地执行远程日志文件的“tail-f”,并将输出运行到logstash

下面是一个bash脚本,它实现了以下功能:

url tail.sh

此bash脚本监视url的更改,并将其尾部打印到 标准输出。它充当“tail-f”linux命令。这可能会有帮助 用于跟踪可通过http访问的日志

另一个类似的例子如下:

还有一些是用php或java编写的:

一旦你有了这个问题,问题是如何把它放到日志库中-你可以:

  • 将其导入标准输入,并使用标准输入

  • 将其附加到文件并使用文件输入

  • 使用管道输入运行命令本身并从 命令的stdout


  • 魔鬼在于细节,特别是在使用logstash时,因此您需要进行实验,但这种方法应该适合您。

    不是直接的,但有一些解决方法-想法是创建一个程序/脚本,使用curl(或其等效物)有效地执行远程日志文件的“tail-f”,并将输出运行到logstash

    下面是一个bash脚本,它实现了以下功能:

    url tail.sh

    此bash脚本监视url的更改,并将其尾部打印到 标准输出。它充当“tail-f”linux命令。这可能会有帮助 用于跟踪可通过http访问的日志

    另一个类似的例子如下:

    还有一些是用php或java编写的:

    一旦你有了这个问题,问题是如何把它放到日志库中-你可以:

  • 将其导入标准输入,并使用标准输入

  • 将其附加到文件并使用文件输入

  • 使用管道输入运行命令本身并从 命令的stdout


  • 魔鬼在于细节,尤其是logstash,因此您需要进行试验,但这种方法应该适合您。

    谢谢John。我会试试看它是否对我有效。我也遇到了类似的情况。是否可以通过一些API将CSV或JSON数据直接提取到Logstash中?谢谢John。我会试试看它是否对我有效。我也遇到了类似的情况。是否可以通过一些API将CSV或JSON数据直接提取到Logstash中?