elasticsearch ELK中的弹性搜索如何映射数据?,elasticsearch,logstash,elastic-stack,elk,elasticsearch,Logstash,Elastic Stack,Elk" /> elasticsearch ELK中的弹性搜索如何映射数据?,elasticsearch,logstash,elastic-stack,elk,elasticsearch,Logstash,Elastic Stack,Elk" />

elasticsearch ELK中的弹性搜索如何映射数据?

elasticsearch ELK中的弹性搜索如何映射数据?,elasticsearch,logstash,elastic-stack,elk,elasticsearch,Logstash,Elastic Stack,Elk,我是麋鹿的新手,我正在学习它。在我的项目中,他们从AmazonS3->File Beat->logstash->Elastic search->Kibanna导入数据 在logstash文件中,他们直接导入数据并发送到弹性搜索,如下所示,配置文件中没有提到索引 output elasticsearch { hosts => ["http://localhost:9200"] } 在AmazonS3中,我们有来自Salesforce的日志,将来我们将从多个来源实现 在Elastic搜索

我是麋鹿的新手,我正在学习它。在我的项目中,他们从AmazonS3->File Beat->logstash->Elastic search->Kibanna导入数据

在logstash文件中,他们直接导入数据并发送到弹性搜索,如下所示,配置文件中没有提到索引

output  elasticsearch 
{
hosts => ["http://localhost:9200"]
}
在AmazonS3中,我们有来自Salesforce的日志,将来我们将从多个来源实现

在Elastic搜索中,我可以看到存在41个使用Get Curl脚本的索引。假设我们在logstash中保持相同的设置,那么所有logsMultiple源将以相同的方式发送到elastic search。我想知道弹性搜索中数据是如何映射到特定索引的

在许多教程中,他们在logstash配置文件中给出了索引,因此在kibanna中,我们可以看到索引名和时间戳。我试图通过在AmazonS3中放置一个示例Mulesoft日志文件进行检查,但我无法在Kibanna中找到这些数据。那么,我是否需要再创建一个名为Mule的新索引以及映射

在我的项目中没有麋鹿专家,所以请指导我如何处理这个问题,否则任何参考资料都会更有帮助

此页面记录Logstash的Elasticsearch输出插件

正如您在配置选项部分中所看到的,选项索引不是必需的。如果未指定此选项,则其默认值为logstash-%{+YYYY.MM.dd}

话虽如此,这些文档将被编入索引,索引前缀为“logstash-”,后跟摄入日期。例如:

logstash-2020.04.07

logstash-2020.04.08

由于您的组织中有人选择使用默认值,因此可以忽略此选项。这解释了为什么在Logstash配置中找不到特定的索引名。如果需要将文档索引到不同的索引中,那么必须为索引选项设置特定的值

如果您事先没有通过索引模板设置显式映射,Elasticsearch将使用动态映射自动创建这些索引。为了查看kibana中的数据,首先需要创建一个与索引名匹配的索引模式


希望我能帮助你。

嗨,我不知道你有什么问题。是否要指定logstash将数据输出到的Elasticsearch索引的名称?然后您需要设置Elasticsearch输出插件的索引参数,谢谢您的回答。我已经使用GET-Curl脚本检查了它,我没有看到任何名为logstash date的索引。我可以看到名为sf Apex的索引,类似于这样,大约有40个类似的索引,并且它有映射部分。请让我知道如何进一步接近。你的意思是什么有映射部分。在Elasticsearch中,您需要小心使用术语映射。你到底是什么意思?此外,您还需要ti共享确切的日志存储管道配置,以便我们帮助您。因此,请用这些信息更新您的原始问题。很抱歉,我搞不清它们是如何实现的。他们使用Lambda函数从应用程序中提取日志并将其保存在S3中,然后将日志直接推送到ES中的特定索引中。谢谢你的帮助。还有一个小疑问——如果我在logstash conf文件中创建一个cron作业,从Mule应用程序中提取数据,那么数据将保存在弹性服务器中??因此,借助s3输出插件,我可以将其保存在s3存储桶中,而不是弹性云?