elasticsearch 使用StormCrawler(和Elasticsearch)向爬网内容添加字段,elasticsearch,web-crawler,apache-storm,stormcrawler,elasticsearch,Web Crawler,Apache Storm,Stormcrawler" /> elasticsearch 使用StormCrawler(和Elasticsearch)向爬网内容添加字段,elasticsearch,web-crawler,apache-storm,stormcrawler,elasticsearch,Web Crawler,Apache Storm,Stormcrawler" />

elasticsearch 使用StormCrawler(和Elasticsearch)向爬网内容添加字段

elasticsearch 使用StormCrawler(和Elasticsearch)向爬网内容添加字段,elasticsearch,web-crawler,apache-storm,stormcrawler,elasticsearch,Web Crawler,Apache Storm,Stormcrawler,我遵循以下教程使用stormcrawler对内容进行爬网,然后将其存储在elasticsearch中:。但是,我想在每个文档中添加它被爬网的日期。谁能告诉我怎么做 通常,如何更改已爬网内容的字段 提前感谢一个选项是在Elasticsearch中创建摄取管道以填充日期字段,如所述。或者,您必须编写一个定制文件,将日期放入元数据中,然后在配置中使用indexer.md.mapping对其进行索引 使此操作更简单可能会很有用,请随时在Github上打开一个问题(或者更好地提供一些代码),以便ES索引器

我遵循以下教程使用stormcrawler对内容进行爬网,然后将其存储在elasticsearch中:。但是,我想在每个文档中添加它被爬网的日期。谁能告诉我怎么做

通常,如何更改已爬网内容的字段


提前感谢

一个选项是在Elasticsearch中创建摄取管道以填充日期字段,如所述。或者,您必须编写一个定制文件,将日期放入元数据中,然后在配置中使用indexer.md.mapping对其进行索引

使此操作更简单可能会很有用,请随时在Github上打开一个问题(或者更好地提供一些代码),以便ES索引器可以检查配置中指示当前日期存储位置的字段名,例如ES.now.field