Performance Elasticsearch索引性能调整

我正在使用ApacheFlume（一个flume代理）和ExecSource（cat命令）、文件通道以及使用ElasticSearchBulk和XContentBuilderJava API自定义构建的接收器，将数据加载到一个两节点elasticsearch集群中，每个集群有5个碎片

flume中的事件收集速率为8000个事件/秒（大小为1个事件246字节），但在elasticsearch中建立索引期间，它会减少到3000个事件/秒

---

如何调整elasticsearch的索引性能，使吞吐量接近flume中的收集速率？

我编写了一个脚本，您可以下载。这是一个shell脚本，但是我相信无论您的平台如何，您都可以进行翻译。索引性能有很多可变因素。硬件和系统变量。这里有很多资源。

我会考虑LogScript写的方式，以弹性搜索-特别是他们把索引间隔设置为5s，以加快性能。您可能还想测试压缩是有帮助还是有阻碍

---

否则，我会增加您的群集大小。

使用内存通道而不是文件通道，它会将输出速度提高几倍。

我尝试使用内存通道，发现速度呈指数增长。但耐用性受到了极大的阻碍。我不仅在杀死代理时丢失了记录，数据的摄取也与丢失的某些记录不一致。谢谢，谢谢！设法将吞吐量提高到几乎等于收集速率的水平。@rudd0211太棒了！很高兴能帮上忙。@Nate你能帮我分享一下剧本吗？现在无法访问该链接。@user703555请稍等片刻。显示页面已消失。