elasticsearch 写重弹性搜索

我正在使用kafka、storm和elasticsearch编写一个实时分析工具，并希望elasticsearch的写操作优化为大约50K/sec的插入。为了实现POC，我尝试将批量文档插入elasticsearch，每秒插入量达到10K

我正在亚马逊ec2的大盒子上运行ES。 我对属性进行了如下调整：

indices.memory.index_buffer_size: 30%
indices.memory.min_shard_index_buffer_size: 30mb
indices.memory.min_index_buffer_size: 96mb

threadpool.bulk.type: fixed
threadpool.bulk.size: 100
threadpool.bulk.queue_size: 2000


bootstrap.mlockall: true

但我希望写性能达到50k而不是10Ks，以确保storm拓扑的正常流量。任何人都可以建议如何配置重写优化的ES群集。

位于此处的可以帮助您提高索引性能。有许多选项和配置可以尝试，我写了一些，但这不是一个全面的列表。减少副本和增加碎片会提高索引性能，但会降低索引期间的可用性和搜索性能

也许将HTTP批量请求发送到多个节点而不仅仅是主节点可以帮助您获得所需的数据

---

希望这能有所帮助。10k/ps的插入比大多数人已经取得的成绩要好，但是我不知道他们是否能够使用大型Amazon实例。

我认为这里没有适合你的“答案”。您必须测量并优化您的设置。谷歌可能会提供一些默认设置。仅供参考，这些链接提供403s@AndrewWhite目前正在进行博客迁移，请尽快更新。