Solr NativeFSLock超时

设置： 我在CentOS 5.7 linux 2.6.32-042stab044.5上的jetty容器中运行Apache Solr。该服务器是一个具有4GB专用RAM和2GB“突发”RAM的VPS

我使用以下选项运行Solr（换行符用于可读性）：

我的Solr配置使用约500个内核，每个内核使用13MB，磁盘总容量为6.8GB

问题： 大约每两周solr服务器就会开始缓慢响应。当我检查stderror日志时，我看到很多类似这样的条目：

Jun 21, 2012 9:36:11 AM org.apache.solr.common.SolrException log
SEVERE: org.apache.lucene.store.LockObtainFailedException: Lock obtain timed out: NativeFSLock@/opt/solr/solr/examplestore/data/index/write.lock
        at org.apache.lucene.store.Lock.obtain(Lock.java:84)
        at org.apache.lucene.index.IndexWriter.<init>(IndexWriter.java:1108)
        at org.apache.solr.update.SolrIndexWriter.<init>(SolrIndexWriter.java:83)
        at org.apache.solr.update.UpdateHandler.createMainIndexWriter(UpdateHandler.java:101)
        at org.apache.solr.update.DirectUpdateHandler2.openWriter(DirectUpdateHandler2.java:171)
        at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:219)
        at org.apache.solr.update.processor.RunUpdateProcessor.processAdd(RunUpdateProcessorFactory.java:61)
        at org.apache.solr.update.processor.LogUpdateProcessor.processAdd(LogUpdateProcessorFactory.java:115)
        at org.apache.solr.handler.XMLLoader.processUpdate(XMLLoader.java:158)
        at org.apache.solr.handler.XMLLoader.load(XMLLoader.java:79)
        at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:58)
        at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:129)
        at org.apache.solr.core.SolrCore.execute(SolrCore.java:1372)
        at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:356)
        at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:252)
        at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212)
        at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:399)
        at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)
        at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
        at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
        at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:450)
        at org.mortbay.jetty.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:230)
        at org.mortbay.jetty.handler.HandlerCollection.handle(HandlerCollection.java:114)
        at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
        at org.mortbay.jetty.Server.handle(Server.java:326)
        at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
        at org.mortbay.jetty.HttpConnection$RequestHandler.content(HttpConnection.java:945)
        at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:756)
        at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)
        at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
        at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)
        at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)

2012年6月21日上午9:36:11 org.apache.solr.common.SolrException日志
严重：org.apache.lucene.store.lockActainFailedException:锁获取超时：NativeFSLock@/opt/solr/solr/examplestore/data/index/write.Lock
位于org.apache.lucene.store.Lock.get（Lock.java:84）
位于org.apache.lucene.index.IndexWriter（IndexWriter.java:1108）
位于org.apache.solr.update.SolrIndexWriter.（SolrIndexWriter.java:83）
位于org.apache.solr.update.UpdateHandler.createMainIndexWriter（UpdateHandler.java:101）
位于org.apache.solr.update.DirectUpdateHandler2.openWriter（DirectUpdateHandler2.java:171）
在org.apache.solr.update.DirectUpdateHandler2.addDoc（DirectUpdateHandler2.java:219）
位于org.apache.solr.update.processor.RunUpdateProcessor.processAdd（RunUpdateProcessorFactory.java:61）
在org.apache.solr.update.processor.LogUpdateProcessor.processAdd（LogUpdateProcessorFactory.java:115）上
位于org.apache.solr.handler.xmloader.processUpdate（xmloader.java:158）
位于org.apache.solr.handler.xmloader.load（xmloader.java:79）
位于org.apache.solr.handler.ContentStreamHandlerBase.HandlerRequestBody（ContentStreamHandlerBase.java:58）
位于org.apache.solr.handler.RequestHandlerBase.HandlerRequest（RequestHandlerBase.java:129）
位于org.apache.solr.core.SolrCore.execute（SolrCore.java:1372）
位于org.apache.solr.servlet.SolrDispatchFilter.execute（SolrDispatchFilter.java:356）
位于org.apache.solr.servlet.SolrDispatchFilter.doFilter（SolrDispatchFilter.java:252）
位于org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter（ServletHandler.java:1212）
位于org.mortbay.jetty.servlet.ServletHandler.handle（ServletHandler.java:399）
位于org.mortbay.jetty.security.SecurityHandler.handle（SecurityHandler.java:216）
位于org.mortbay.jetty.servlet.SessionHandler.handle（SessionHandler.java:182）
位于org.mortbay.jetty.handler.ContextHandler.handle（ContextHandler.java:766）
位于org.mortbay.jetty.webapp.WebAppContext.handle（WebAppContext.java:450）
位于org.mortbay.jetty.handler.ContextHandlerCollection.handle（ContextHandlerCollection.java:230）
位于org.mortbay.jetty.handler.HandlerCollection.handle（HandlerCollection.java:114）
位于org.mortbay.jetty.handler.HandlerWrapper.handle（HandlerWrapper.java:152）
位于org.mortbay.jetty.Server.handle（Server.java:326）
位于org.mortbay.jetty.HttpConnection.handleRequest（HttpConnection.java:542）
位于org.mortbay.jetty.HttpConnection$RequestHandler.content（HttpConnection.java:945）
位于org.mortbay.jetty.HttpParser.parseNext（HttpParser.java:756）
位于org.mortbay.jetty.HttpParser.parseAvailable（HttpParser.java:212）
位于org.mortbay.jetty.HttpConnection.handle（HttpConnection.java:404）
位于org.mortbay.jetty.bio.SocketConnector$Connection.run（SocketConnector.java:228）
位于org.mortbay.thread.QueuedThreadPool$PoolThread.run（QueuedThreadPool.java:582）

当我检查内存使用情况时，jetty进程正在使用3GB，并且

free-m

报告~3GB正在使用中

我当前的修复方法是重新启动jetty进程（/etc/init.d/solr restart）。“Lock Get timed out”（锁定获取超时）异常停止，性能在接下来的一两周内是合理的

wiki指出这是内存问题，这就是为什么我将内存使用设置为2GB，并在终止进程之前检查内存使用情况。但是，我不确定这是否是问题所在，因为还有剩余内存（3GB用于4GB专用内存，外加2GB“突发”RAM）

问题：

---

如何防止“Lock Get timed out”（锁定获取超时）异常，并最终提高Solr设置的稳定性，这样我就不必每两周重新启动一次它？

不知道您的应用程序，我不应该发表太多评论。。。但对于索引大小和处理器内核数量而言，500个内核似乎很高（我怀疑，不超过4个）

您可以重新加载solr内核，根据我的经验，这有助于从某些长寿命对象中回收内存

---

您是否注意到日志中内存不足的错误？您可以从启用verbosegc开始，并将您注意到的错误与verbosegc输出关联起来。

我在日志中没有看到任何内存不足错误。我将启用verbosegc并进行检查。谢谢

Jun 21, 2012 9:36:11 AM org.apache.solr.common.SolrException log
SEVERE: org.apache.lucene.store.LockObtainFailedException: Lock obtain timed out: NativeFSLock@/opt/solr/solr/examplestore/data/index/write.lock
        at org.apache.lucene.store.Lock.obtain(Lock.java:84)
        at org.apache.lucene.index.IndexWriter.<init>(IndexWriter.java:1108)
        at org.apache.solr.update.SolrIndexWriter.<init>(SolrIndexWriter.java:83)
        at org.apache.solr.update.UpdateHandler.createMainIndexWriter(UpdateHandler.java:101)
        at org.apache.solr.update.DirectUpdateHandler2.openWriter(DirectUpdateHandler2.java:171)
        at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:219)
        at org.apache.solr.update.processor.RunUpdateProcessor.processAdd(RunUpdateProcessorFactory.java:61)
        at org.apache.solr.update.processor.LogUpdateProcessor.processAdd(LogUpdateProcessorFactory.java:115)
        at org.apache.solr.handler.XMLLoader.processUpdate(XMLLoader.java:158)
        at org.apache.solr.handler.XMLLoader.load(XMLLoader.java:79)
        at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:58)
        at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:129)
        at org.apache.solr.core.SolrCore.execute(SolrCore.java:1372)
        at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:356)
        at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:252)
        at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212)
        at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:399)
        at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)
        at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
        at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
        at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:450)
        at org.mortbay.jetty.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:230)
        at org.mortbay.jetty.handler.HandlerCollection.handle(HandlerCollection.java:114)
        at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
        at org.mortbay.jetty.Server.handle(Server.java:326)
        at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
        at org.mortbay.jetty.HttpConnection$RequestHandler.content(HttpConnection.java:945)
        at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:756)
        at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)
        at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
        at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)
        at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)