elasticsearch 高流量下的弹性搜索索引策略,elasticsearch,rabbitmq,bigdata,elasticsearch,Rabbitmq,Bigdata" /> elasticsearch 高流量下的弹性搜索索引策略,elasticsearch,rabbitmq,bigdata,elasticsearch,Rabbitmq,Bigdata" />

elasticsearch 高流量下的弹性搜索索引策略

elasticsearch 高流量下的弹性搜索索引策略,elasticsearch,rabbitmq,bigdata,elasticsearch,Rabbitmq,Bigdata,我们使用ElasticSearch作为工具的实时指标和分析部分。当我们查询数据时,ElasticSearch非常酷和快速。(统计面和术语面) 但当我们试图为每小时数据编制索引时,会遇到问题。我们从其他服务收集我们的度量数据。首先,我们从其他服务收集数据并将其保存到RabbitMQ进程中。但当队列工作者运行我们所有的每小时数据时,并没有索引到ES。通常,ES中有40%的数据索引丢失,而其他索引丢失 那么你对高流量下索引何时消失有什么看法呢?我已经发布了其他类似问题的答案: (我回答的后半部分适

我们使用ElasticSearch作为工具的实时指标和分析部分。当我们查询数据时,ElasticSearch非常酷和快速。(统计面和术语面)

但当我们试图为每小时数据编制索引时,会遇到问题。我们从其他服务收集我们的度量数据。首先,我们从其他服务收集数据并将其保存到RabbitMQ进程中。但当队列工作者运行我们所有的每小时数据时,并没有索引到ES。通常,ES中有40%的数据索引丢失,而其他索引丢失


那么你对高流量下索引何时消失有什么看法呢?

我已经发布了其他类似问题的答案:

  • (我回答的后半部分适用)
此外,您是否考虑过使用“河流”而不是自定义“队列工作者”?有关更多信息,请参阅: