Logging Logstash遍历s3目录树以获取日志
我们有大约四年的日志以Logging Logstash遍历s3目录树以获取日志,logging,amazon-s3,
elasticsearch,logstash,Logging,Amazon S3,
elasticsearch,Logstash,我们有大约四年的日志以 BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server1.log BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server2.log BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server3.log 等等 我们的目标是使用Logstash使用这些数据来回填和索引日志,因此我想知道是否有一种方法可以告诉s3输入插件在指定前缀内的文件夹中搜索所有日志,类似于: "pat
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server1.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server2.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server3.log
等等
我们的目标是使用Logstash使用这些数据来回填和索引日志,因此我想知道是否有一种方法可以告诉s3输入插件在指定前缀内的文件夹中搜索所有日志,类似于:
"path" => "/path/logs/blah/**/*.log
如果使用s3插件没有办法做到这一点,你们中有人解决过类似的问题吗
理想的情况是能够对流程进行后台处理,并尽可能使其接近实时(这意味着我希望避免必须手动将日志复制到外部位置并运行脚本来更新索引的情况)我遇到了类似的问题。
我找到的解决方案如下
将S3存储桶作为可移动驱动器安装在本地文件系统中
使用输入插件为目标日志文件编制索引
使用这种方法,既不需要手动复制,也不需要运行脚本。索引是在后台执行的
有几个S3客户端应用程序可以帮助将S3存储桶装载为本地驱动器(例如)。然而,它们都是商业软件。到目前为止,我还没有找到任何免费的申请
我的操作系统是Windows7,我使用TntDrive将S3存储桶装载到本地文件系统