Java Elasticsearch日志文件大容量性能下降

我正在使用RoR开发一个应用程序和一个名为searchkick的gem，这个gem内部使用elasticsearch。一切都很好，但在制作过程中，我们遇到了一个奇怪的问题，一段时间后网站就会关闭。我们发现的原因是服务器上的内存被过度使用。我们删除了前一周的一些elasticsearch日志文件，发现内存使用从92%减少到47%。我们使用滚动日志记录，每天备份日志。现在，我们面临的问题是，只有前一天的1个日志文件，内存会变得更高。日志文件占用了大量空间，即使是当前的日志文件也需要4GB！！！！我怎样才能防止呢

消息几乎是警告级别

[00:14:11744][WARN][cluster.action.shard][Abdul Alhazred][0]为[？][0]、节点[V52W2IH5R3SwhZ0mTFjodg]、[p]、s[初始化]、索引UID[4FHSOV8RBGLJ5JO8PVOXQ]发送失败的碎片，原因[启动碎片失败，消息[IndexHardGatewayRecoveryException[？][0]失败恢复]；嵌套：EngineCreationFailureException[？][0]未能创建引擎]；嵌套：LockReleaseFailedException[无法强制解锁由另一个索引器组件持有的本机fslock:/usr/lib64/elasticsearch-1.1.0/data/elasticsearch/nodes/0/index/？/0/index/write.lock]；]]

看看其中的一些，我试图增加ulimit或创建一个新节点，这样问题也就解决了，大小也减小了。My limits.conf有65535用于硬文件和软文件。同样在sysctl.conf fs.file-max中，最大值超过100000。我是否可以采取任何其他步骤来减小文件大小，而且我无法深入了解elasticsearch配置的更改

---

如果有人能帮忙的话。谢谢

我建议至少升级到1.2.4，因为Lucene中报告了一些文件锁定问题：

是的，ElasticSearch和Lucene都是资源密集型的。我采取了以下措施来纠正我的系统：

停止弹性搜索。如果你从命令开始，就像 （bin/elasticsearch）然后请指定此设置以在 启动。例如，我使用一个16GB的盒子，因此我的命令是

abin/elasticsearch-Xmx8g-Xms8g

b。转到config（elasticsearch/config/elasticsearch.yml）并确保

bootstrap.mlockall:true

c。将ulimits-Hn和ulimits-Sn增加到200000以上

如果您作为服务启动，请执行以下操作

a导出ES_堆大小=10g

b。转到config（/etc/elasticsearch/elasticsearch.yml）并确保

bootstrap.mlockall:true

c。将ulimits-Hn和ulimits-Sn增加到200000以上

---

请确保您输入的大小不超过堆的50%，无论您是作为服务还是从命令行启动它

我建议至少升级到1.2.4，因为Lucene:，@andrestefan:中报告了一些文件锁定问题，升级似乎可以解决问题。。虽然升级本身需要大量的大脑压缩。把这个作为答案，这样我可以标记，