elasticsearch Elasticsearch索引性能:油门合并
我们正在将数据导入elasticsearch群集,每个索引大约10gb。elasticsearch Elasticsearch索引性能:油门合并,elasticsearch,lucene,elasticsearch,Lucene,我们正在将数据导入elasticsearch群集,每个索引大约10gb。 同时,我们关心的是对现有索引的搜索,其中很少有小索引-~100mb,很少有大索引-~10gb 为了优化索引,我们: -使用bulkapi优化批量大小 -将刷新间隔设置为-1 -将复制系数设置为0 现在,我们正试图了解合并限制是如何起作用的。 如果只针对现有索引进行搜索,那么搜索和段合并是如何关联的 据此,我们可以禁用合并限制。 -这是否意味着合并将“吃掉”磁盘i/o? -这是否意味着合并根本不会发生,我们必须在索引完成后手
同时,我们关心的是对现有索引的搜索,其中很少有小索引-~100mb,很少有大索引-~10gb 为了优化索引,我们:
-使用
bulk
api优化批量大小-将刷新间隔设置为
-1
-将复制系数设置为
0
现在,我们正试图了解合并限制是如何起作用的。
如果只针对现有索引进行搜索,那么搜索和段合并是如何关联的
据此,我们可以禁用合并限制。-这是否意味着合并将“吃掉”磁盘i/o?
-这是否意味着合并根本不会发生,我们必须在索引完成后手动执行合并?在这种情况下,是否应该担心最大打开文件描述符 根据这些,我们不应该碰合并设置 非常困惑,非常感谢您的帮助。根据讨论: 自ES 2.x以来,IO节流由Lucene自动处理, 这意味着在将字节写入合并后的内存时,它以20 MB/秒的速度开始 段然后,当合并落后时,它会增加该比率,并且 否则会减少它。这意味着,随着时间的推移,合并只会吸收 尽可能多的IO带宽以跟上您的传输速率 索引