Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Logging Logstash遍历s3目录树以获取日志_Logging_Amazon S3_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Logstash - Fatal编程技术网 elasticsearch,logstash,Logging,Amazon S3,elasticsearch,Logstash" /> elasticsearch,logstash,Logging,Amazon S3,elasticsearch,Logstash" />

Logging Logstash遍历s3目录树以获取日志

Logging Logstash遍历s3目录树以获取日志,logging,amazon-s3,elasticsearch,logstash,Logging,Amazon S3,elasticsearch,Logstash,我们有大约四年的日志以 BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server1.log BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server2.log BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server3.log 等等 我们的目标是使用Logstash使用这些数据来回填和索引日志,因此我想知道是否有一种方法可以告诉s3输入插件在指定前缀内的文件夹中搜索所有日志,类似于: "pat

我们有大约四年的日志以

BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server1.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server2.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server3.log
等等

我们的目标是使用Logstash使用这些数据来回填和索引日志,因此我想知道是否有一种方法可以告诉s3输入插件在指定前缀内的文件夹中搜索所有日志,类似于:

"path" => "/path/logs/blah/**/*.log
如果使用
s3插件没有办法做到这一点,你们中有人解决过类似的问题吗
理想的情况是能够对流程进行后台处理,并尽可能使其接近实时(这意味着我希望避免必须手动将日志复制到外部位置并运行脚本来更新索引的情况)

我遇到了类似的问题。 我找到的解决方案如下

  • 将S3存储桶作为可移动驱动器安装在本地文件系统中
  • 使用输入插件为目标日志文件编制索引
  • 使用这种方法,既不需要手动复制,也不需要运行脚本。索引是在后台执行的

    有几个S3客户端应用程序可以帮助将S3存储桶装载为本地驱动器(例如)。然而,它们都是商业软件。到目前为止,我还没有找到任何免费的申请

    我的操作系统是Windows7,我使用TntDrive将S3存储桶装载到本地文件系统