elasticsearch elasticsearch-具有查找表值的标记数据,elasticsearch,kibana,lookup,lookup-tables,elasticsearch,Kibana,Lookup,Lookup Tables" /> elasticsearch elasticsearch-具有查找表值的标记数据,elasticsearch,kibana,lookup,lookup-tables,elasticsearch,Kibana,Lookup,Lookup Tables" />

elasticsearch elasticsearch-具有查找表值的标记数据

elasticsearch elasticsearch-具有查找表值的标记数据,elasticsearch,kibana,lookup,lookup-tables,elasticsearch,Kibana,Lookup,Lookup Tables,我正试图根据查找表标记我的数据。 查找表包含以下字段: •键-表示我要标记的数据中的字段名。 在实际数据中,该字段是“标题”字段的子字段。。 “键”字段的示例: “服务器。(*是通配符) •值-表示上述字段的所需值。 查找表中的值只是实际数据值中字符串的一部分。 “值”字段的示例: “Avtech” •供应商-如果在文档中找到字段-值的组合,我希望添加到实际数据中的值 真实数据中的组合示例: “Headers.Server:Linux/2.x UPnP/1.0 Avtech/1.0” A mat

我正试图根据查找表标记我的数据。 查找表包含以下字段:

•键-表示我要标记的数据中的字段名。 在实际数据中,该字段是“标题”字段的子字段。。 “键”字段的示例: “服务器。(*是通配符)

•值-表示上述字段的所需值。 查找表中的值只是实际数据值中字符串的一部分。 “值”字段的示例: “Avtech”

•供应商-如果在文档中找到字段-值的组合,我希望添加到实际数据中的值

真实数据中的组合示例: “Headers.Server:Linux/2.x UPnP/1.0 Avtech/1.0”

A match with that document in the look up table will be:
Key= Server (with wildcard on both sides).
Value= Avtech(with wildcard on both sides)
Vendor= Avtech
因此,我需要在该文档中添加一个值为“Avtech”的字段

  • “Headers”中的子字段是动态字段,在文档之间会发生变化
  • 如果未找到匹配项,我需要将值“未知”添加到标记字段
我尝试过使用enrich处理器,使用查找表作为源数据,匹配字段将是“Value”,enrich字段将是“Vendor”。 在enrich处理器中,我不知道如何调用该字段,因为它是动态的,我想搜索该值是否在“Headers”子字段中的任何位置。 此外,我认为查找表中的“值”和Headers子字段的值之间不会有匹配,因为查找表中的“值”字段是一个两边都带有通配符的子字符串

我可以利用一些帮助来完成我想做的事。。以及如何在丰富处理器中使用通配符进行搜索。 或者,如果您除了丰富处理器之外还有其他想法,比如父-子和查找术语机制

谢谢!
Adi.

有两种方法可以实现这一点:

  • 使用Logstash和Elasticsearch的组合
  • 仅使用Elastichsearch摄取节点
  • Constriant:您需要知道标题字段中出现的供应商术语的位置

    方法1 如果是这样,那么您可以使用GROK过滤器来提取术语。根据找到的术语,进行查找以获得相应的值

    参考

  • 方法2 创建由KV对组成的索引。在ingest节点中,创建一个由Grok processor组成的管道,然后对其进行充实。Grok的工作方式与方法1中提到的相同。而你似乎已经让充实部分发挥作用了

    参考


  • 如果您能够在标题中隔离感兴趣的术语所在的子字段,那么这将使您的工作更轻松。

    有两种方法可以实现这一点:

  • 使用Logstash和Elasticsearch的组合
  • 仅使用Elastichsearch摄取节点
  • Constriant:您需要知道标题字段中出现的供应商术语的位置

    方法1 如果是这样,那么您可以使用GROK过滤器来提取术语。根据找到的术语,进行查找以获得相应的值

    参考

  • 方法2 创建由KV对组成的索引。在ingest节点中,创建一个由Grok processor组成的管道,然后对其进行充实。Grok的工作方式与方法1中提到的相同。而你似乎已经让充实部分发挥作用了

    参考

  • 如果您能够在标题中分离出感兴趣的术语所在的子字段,那么这将使事情变得更容易