elasticsearch 要从elasticsearch中的当前数据中提取日数和日时间吗,elasticsearch,logstash,elasticsearch,Logstash" /> elasticsearch 要从elasticsearch中的当前数据中提取日数和日时间吗,elasticsearch,logstash,elasticsearch,Logstash" />

elasticsearch 要从elasticsearch中的当前数据中提取日数和日时间吗

elasticsearch 要从elasticsearch中的当前数据中提取日数和日时间吗,elasticsearch,logstash,elasticsearch,Logstash,我正在使用logstash读取cloudfront日志,并将数据存储到elasticsearch中,该过程工作良好并存储所有必需的字段,到目前为止,我在集群中有1100万条记录。现在,出于统计目的,我觉得如果我从一开始就存储了一天中的日期、日期和时间,会更好、更容易。我现在可以更新当前数据并拥有这些字段吗?对于未来的数据,您将使用所需的逻辑实现日志存储过滤器。对于您过去的数据,您必须对其重新编制索引 是的。可以将新字段添加到现有索引中。有关更多详细信息,请参阅此 将新字段添加到旧索引不会反映在带

我正在使用logstash读取cloudfront日志,并将数据存储到elasticsearch中,该过程工作良好并存储所有必需的字段,到目前为止,我在集群中有1100万条记录。现在,出于统计目的,我觉得如果我从一开始就存储了一天中的日期、日期和时间,会更好、更容易。我现在可以更新当前数据并拥有这些字段吗?

对于未来的数据,您将使用所需的逻辑实现日志存储过滤器。对于您过去的数据,您必须对其重新编制索引

是的。可以将新字段添加到现有索引中。有关更多详细信息,请参阅此

将新字段添加到旧索引不会反映在带有映射的查询搜索中。最好创建一个包含所有字段、设置和映射的新索引,或者在同一索引中重新索引新旧数据(代价高昂的过程)


Elasticsearch允许您创建索引的副本(克隆)。使用此方法,您可以使用新方法(添加新字段)更新复制的索引。一旦该索引建立起来,您就可以将复制的索引作为主索引。这需要一些努力。请务必将此内容用于克隆。

您正试图在旧数据或未来记录上添加这些新字段?旧数据和未来记录@SathishkumarRakkiasamyfuture data是最简单的部分,问题是更新过去的数据,正如我在回答中所述,您必须重新编制它们的索引,因为在我看来,手动更新1100万个文档将是一项巨大的工作(而且不是自动化的)。我可以使用copy_to参数吗?您希望在何处和何处应用此参数?我现在看到了,我可以使用reindex API,在新的索引中,我可以定义我的映射,该映射使用时间戳,然后从中提取日期/天/小时,并将其存储到相应的列中。谢谢您的帮助,我将尝试实现它,然后选择接受的答案