elasticsearch 麋鹿堆栈数据映射功能,elasticsearch,mapping,logstash,trace,elasticsearch,Mapping,Logstash,Trace" /> elasticsearch 麋鹿堆栈数据映射功能,elasticsearch,mapping,logstash,trace,elasticsearch,Mapping,Logstash,Trace" />

elasticsearch 麋鹿堆栈数据映射功能

elasticsearch 麋鹿堆栈数据映射功能,elasticsearch,mapping,logstash,trace,elasticsearch,Mapping,Logstash,Trace,所以我想知道ELK stack中是否有一个功能可以对来自不同来源的数据进行查找和映射 例如: 我有你的日志 'computer.log' -> {computer_id: 123456, internet_connected: 345612} 'phone.log' -> {phone_id: 234561} 'internet.log' -> {internet_id: 345612, phone_push: 234561} 因此,我们有3个日志流被发送到filebe

所以我想知道ELK stack中是否有一个功能可以对来自不同来源的数据进行查找和映射

例如: 我有你的日志

'computer.log' -> {computer_id: 123456, internet_connected: 345612}
'phone.log' ->    {phone_id: 234561}
'internet.log' -> {internet_id: 345612, phone_push: 234561}
因此,我们有3个日志流被发送到filebeat->logstash->elasticsearch->kibana

当我们需要跟踪哪个电话连接到计算机时,我想搜索“computer_id:123456”,然后弹出所有这3个日志。我知道我们可以在弹性搜索中搜索数据的特定索引,并在logstash中解析原始日志。但是我想知道如果我们分别收到这3个日志(在5毫秒内),我该如何跟踪或进行映射

logstash是否具有这种数据跟踪功能,或者我是否必须编写一个程序来处理映射,并在流式传输到logstash之前将转换id插入特定日志


我不知道这个功能的确切名称,你能告诉我麋鹿堆栈中是否有一个吗?

如果internet.log最后一个出现,保证至少有几秒钟的间隔,我们可以丰富包含internet.log的索引

我建议如下

  • 索引internet.log时,添加一个文档\u id作为uuid- 并添加一个状态-“未处理”
  • 添加另一个日志存储
    • 输入-使用elasticsearch输入插件查询internet.log,状态为未处理
    • 过滤器1-使用elasticsearch过滤器插件查询computer.log以获取事件中的计算机id和其他字段(如果有)
    • 过滤器2-使用elasticsearch过滤器插件查询phone.log以获取与事件中的电话相关的字段
    • 如果筛选器1和筛选器2成功返回数据,请将状态更新为已处理
    • 输出-具有相同文档id(uuid)的Reindex internet.log文档
  • 你可以在这里找到一些例子- * *

    现在,您可以在单个索引(index.log)中搜索和查询所有数据