elasticsearch 如何排除/预定义Kibana中索引模式的字段?,elasticsearch,kibana,elastic-stack,elasticsearch,Kibana,Elastic Stack" /> elasticsearch 如何排除/预定义Kibana中索引模式的字段?,elasticsearch,kibana,elastic-stack,elasticsearch,Kibana,Elastic Stack" />

elasticsearch 如何排除/预定义Kibana中索引模式的字段?

elasticsearch 如何排除/预定义Kibana中索引模式的字段?,elasticsearch,kibana,elastic-stack,elasticsearch,Kibana,Elastic Stack,我正在使用ELK监视RESTAPI服务器。Logstash将URL分解为JSON对象,其中包含查询参数、头参数、请求持续时间和头的字段 TLDR:我希望保留所有这些字段,以便在查看特定消息时,可以看到所有详细信息。但只需要其中的一小部分就可以在Kibana中查询和生成报告/可视化 我已经测试了几周,并在服务器端添加了一些新字段。所以无论何时,我都需要重新扫描索引。然而,自动检测现在发现了300多个字段,我猜它对所有字段都进行了索引 我想控制它只索引一组字段,因为我认为它检测的越多,索引文件就越大

我正在使用ELK监视RESTAPI服务器。Logstash将URL分解为JSON对象,其中包含查询参数、头参数、请求持续时间和头的字段

TLDR:我希望保留所有这些字段,以便在查看特定消息时,可以看到所有详细信息。但只需要其中的一小部分就可以在Kibana中查询和生成报告/可视化

我已经测试了几周,并在服务器端添加了一些新字段。所以无论何时,我都需要重新扫描索引。然而,自动检测现在发现了300多个字段,我猜它对所有字段都进行了索引

我想控制它只索引一组字段,因为我认为它检测的越多,索引文件就越大

一周(100-200个字段)大约是300MB/天,然后当我添加一个需要刷新的新字段时,它变成了350个字段;1 GB/天。昨天我无意中删除了ELK实例之后,我重新编辑了所有内容,现在索引到目前为止都是100MB/天,这就是我感到好奇的原因

我找到了这些文档,但不确定哪些文档相关,或者它们之间的关系/需要如何组合

映射、索引模式、索引、模板/文件节拍/汇总策略


(有一个PUT调用发送一个巨大的JSON文本,但不确定如何在putty中输入类似的内容。POSTMAN/JMeter可能会,但这些需要在服务器本身上执行,这只是一个SSH会话,没有GUI/text窗口。)

从日志中删除字段(因为您使用的是logstash),您可以使用logstash mutate过滤器的remove_字段选项


Ref:

要从日志中删除字段(因为您使用的是logstash),可以使用logstash mutate过滤器的remove_field选项


Ref:

您可以在文本编辑器中编辑巨大的JSON/curl查询,然后在SSH会话中复制粘贴整个命令。但是粘贴不包括行返回,它将立即在那里运行命令,但只需打开{?您可以在文本编辑器中编辑巨大的JSON/curl查询,然后在SSH会话中复制粘贴整个命令。但是粘贴不包括行返回吗?这将立即在那里运行命令,但只需打开{?我仍然希望JSON中的所有字段,但我不希望弹性/Kibana索引大多数字段(即url.params.*字段不应被索引,因为我永远不会将其用作搜索/可视化标准,但当我查看结果时,我仍然希望看到这些字段及其值)我仍然希望json中的所有字段,但我不希望弹性/Kibana索引大多数字段(即url.params.*字段不应编制索引,因为我永远不会将其用作搜索/可视化标准,但在查看结果时,我仍希望查看这些字段及其值)