elasticsearch 在弹性搜索中同时索引多个索引,elasticsearch,logstash,elasticsearch,Logstash" /> elasticsearch 在弹性搜索中同时索引多个索引,elasticsearch,logstash,elasticsearch,Logstash" />

elasticsearch 在弹性搜索中同时索引多个索引

elasticsearch 在弹性搜索中同时索引多个索引,elasticsearch,logstash,elasticsearch,Logstash,我使用logstash进行ETL,在弹性搜索中有3个索引。我可以同时通过3个不同的logtash过程将文档插入到我的3个索引中以提高并行性,还是应该一次将文档插入1个索引中 我的弹性搜索群集配置如下所示: 3个数据节点 1客户端节点 3个数据节点-64 GB RAM、SSD磁盘 1个客户端节点-8 GB RAM 碎片-20个碎片 副本-1 谢谢,视情况而定。Elasticsearch的分布概念基于碎片。由于索引的碎片位于不同的节点上,因此会自动分散负载 但是,如果Logstash是您的瓶颈,那么

我使用logstash进行ETL,在弹性搜索中有3个索引。我可以同时通过3个不同的logtash过程将文档插入到我的3个索引中以提高并行性,还是应该一次将文档插入1个索引中

我的弹性搜索群集配置如下所示: 3个数据节点 1客户端节点

3个数据节点-64 GB RAM、SSD磁盘 1个客户端节点-8 GB RAM

碎片-20个碎片 副本-1
谢谢,视情况而定。Elasticsearch的分布概念基于碎片。由于索引的碎片位于不同的节点上,因此会自动分散负载

但是,如果Logstash是您的瓶颈,那么您可能会从运行多个进程中获得性能。不过,在一台机器上运行多个LS进程是否会产生积极影响仍值得怀疑

简短回答:将3个索引并行化没有多大意义,但如果Logstash是您的瓶颈,那么在不同的机器上并行运行这些索引可能是有意义的


PS:最大的性能改进通常是将请求批处理在一起,但Logstash可以做到这一点。

此外,您可以使用-w添加更多的worker,而不是添加更多的Logstash实例。