elasticsearch 将Cloudtrail gzip日志从S3发送到ElasticSearch

我是相对新的整个麋鹿设置的一部分，因此请大家耐心等待

我想做的是将存储在S3上的cloudtrail日志发送到本地托管（我指的是非AWS）的ELK设置中。我在设置中的任何地方都没有使用Filebeat。我相信使用它不是强制性的。Logstash可以直接将数据传递给ES

我就在这里吗

一旦数据在ES中，我只想在Kibana中将其可视化

考虑到我的麋鹿已经启动并运行，而且设置中没有涉及Filebeat，我迄今为止所做的尝试：

使用S3日志存储插件

/etc/logstash/conf.d/aws_ct_s3.conf的内容

我想让上面的字典列表中的每一本都成为Kibana的一个单独事件。通过一些谷歌搜索，我知道我可以使用

split

过滤器来实现我想要的。现在我的

aws\u ct\u s3.conf

看起来像：

input {
s3 {
access_key_id => "access_key_id"
bucket => "bucket_name_here"
secret_access_key => "secret_access_key"
prefix => "AWSLogs/<account_number>/CloudTrail/ap-southeast-1/2019/01/09"
sincedb_path => "/tmp/s3ctlogs.sincedb"
region => "us-east-2"
codec => "json"
add_field => { source => gzfiles }
}
}

filter {
split {
   field => "Records"
 }
}

output {
stdout { codec => json }
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "attack-%{+YYYY.MM.dd}"
}
}

输入{
s3{
访问密钥id=>“访问密钥id”
bucket=>“bucket\u name\u此处”
机密访问密钥=>“机密访问密钥”
前缀=>"AWSLogs/
因此，该数字现在已经从5k增加到了~12k个文档，并停滞在该数字上。我没有做任何改变。因此，我相信它仍在寻找数据，但速度相当慢！不知道这是否真的是问题所在，如果是，那么我如何加快速度？如果LS或ES不堪重负，它将在日志文件中报告此类情况s、 因此，这个数字现在已经从5k增加到了~12k个文档，现在已经停滞在这个数字上了。我没有做任何改变。所以我相信它仍然在寻找数据，但速度相当慢！不知道这是否真的是问题所在，如果是，我如何加快速度？如果LS或ES被淹没，它将在日志文件中报告这一情况。
{
  "Records": [
    dictionary_D1,
    dictionary_D2,
    .
    .
    .
  ]
}

input {
s3 {
access_key_id => "access_key_id"
bucket => "bucket_name_here"
secret_access_key => "secret_access_key"
prefix => "AWSLogs/<account_number>/CloudTrail/ap-southeast-1/2019/01/09"
sincedb_path => "/tmp/s3ctlogs.sincedb"
region => "us-east-2"
codec => "json"
add_field => { source => gzfiles }
}
}

filter {
split {
   field => "Records"
 }
}

output {
stdout { codec => json }
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "attack-%{+YYYY.MM.dd}"
}
}