elasticsearch 减少索引时间ElasticSearch-RabbitMQ设置,elasticsearch,rabbitmq,elasticsearch,Rabbitmq" /> elasticsearch 减少索引时间ElasticSearch-RabbitMQ设置,elasticsearch,rabbitmq,elasticsearch,Rabbitmq" />

elasticsearch 减少索引时间ElasticSearch-RabbitMQ设置

elasticsearch 减少索引时间ElasticSearch-RabbitMQ设置,elasticsearch,rabbitmq,elasticsearch,Rabbitmq,我正在消耗数百万条消息,每条消息都有来自RabbitMQ的10个字段,并将其推送到ElasticSearch。到目前为止,摄入需要13-14小时。我可以做些什么来优化流程?以下是我迄今为止尝试过的一些方法: 正在创建到RabbitMQ服务器的多个并行连接。我有8个 连接到RabbitMQ服务器和am预取500条消息 每个频道。 使用批量索引API进行ElasticSearch。我正在批处理邮件 每个连接和大容量索引一次就可以创建500个文档。 已为ElasticSearch创建显式映射文件,已禁

我正在消耗数百万条消息,每条消息都有来自RabbitMQ的10个字段,并将其推送到ElasticSearch。到目前为止,摄入需要13-14小时。我可以做些什么来优化流程?以下是我迄今为止尝试过的一些方法:

正在创建到RabbitMQ服务器的多个并行连接。我有8个 连接到RabbitMQ服务器和am预取500条消息 每个频道。 使用批量索引API进行ElasticSearch。我正在批处理邮件 每个连接和大容量索引一次就可以创建500个文档。 已为ElasticSearch创建显式映射文件,已禁用所有 领域 但我仍然看不到只有100条消息/秒的良好吞吐量。我还可以做哪些其他优化来减少索引持续时间并将吞吐量提高到更高的水平


谢谢。

如果没有有关设置的节点数、cpu、内存、磁盘大小、索引数、碎片数、所需摄取量、查询量等的详细信息,您将很难获得帮助。请尝试使用刷新间隔和相关内容