elasticsearch Elasticsearch索引性能:油门合并,elasticsearch,lucene,elasticsearch,Lucene" /> elasticsearch Elasticsearch索引性能:油门合并,elasticsearch,lucene,elasticsearch,Lucene" />

elasticsearch Elasticsearch索引性能:油门合并

elasticsearch Elasticsearch索引性能:油门合并,elasticsearch,lucene,elasticsearch,Lucene,我们正在将数据导入elasticsearch群集,每个索引大约10gb。 同时,我们关心的是对现有索引的搜索,其中很少有小索引-~100mb,很少有大索引-~10gb 为了优化索引,我们: -使用bulkapi优化批量大小 -将刷新间隔设置为-1 -将复制系数设置为0 现在,我们正试图了解合并限制是如何起作用的。 如果只针对现有索引进行搜索,那么搜索和段合并是如何关联的 据此,我们可以禁用合并限制。 -这是否意味着合并将“吃掉”磁盘i/o? -这是否意味着合并根本不会发生,我们必须在索引完成后手

我们正在将数据导入elasticsearch群集,每个索引大约10gb。
同时,我们关心的是对现有索引的搜索,其中很少有小索引-~100mb,很少有大索引-~10gb

为了优化索引,我们:
-使用
bulk
api优化批量大小
-将刷新间隔设置为
-1

-将复制系数设置为
0

现在,我们正试图了解合并限制是如何起作用的。 如果只针对现有索引进行搜索,那么搜索和段合并是如何关联的

据此,我们可以禁用合并限制。
-这是否意味着合并将“吃掉”磁盘i/o?
-这是否意味着合并根本不会发生,我们必须在索引完成后手动执行合并?在这种情况下,是否应该担心最大打开文件描述符

根据这些,我们不应该碰合并设置

非常困惑,非常感谢您的帮助。

根据讨论:

自ES 2.x以来,IO节流由Lucene自动处理, 这意味着在将字节写入合并后的内存时,它以20 MB/秒的速度开始 段然后,当合并落后时,它会增加该比率,并且 否则会减少它。这意味着,随着时间的推移,合并只会吸收 尽可能多的IO带宽以跟上您的传输速率 索引