执行完全导入250000行时出现Solr错误org.apache.Solr.common.SolrException；null:org.eclipse.jetty.io.EofException

我在windows 7 Enterpise上使用带jetty的solr 4.6.0，最大堆为2G。我可以从solr管理UI正确地完全导入200000条记录，但当我增加到250000条记录时，它开始给我以下错误：

webapp=/solr path=/dataimport params={optimize=false&clean=false&indent=true&commit=true&verbose=true&entity=files&command=full-import&debug=true&wt=json&rows=250000} {add=[8065121, 8065126, 8065128, 8065146, 8065963, 7838189, 7838186, 8065155, 8065174, 8065179, ... (250001 adds)],commit=} 0 2693420

org.apache.solr.common.SolrException; null:org.eclipse.jetty.io.EofException
at org.eclipse.jetty.http.HttpGenerator.flushBuffer(HttpGenerator.java:914)
at org.eclipse.jetty.http.AbstractGenerator.blockForOutput(AbstractGenerator.java:507)
at org.eclipse.jetty.server.HttpOutput.write(HttpOutput.java:170)
at org.eclipse.jetty.server.HttpOutput.write(HttpOutput.java:107)
at sun.nio.cs.StreamEncoder.writeBytes(Unknown Source)
at su

Caused by: java.net.SocketException: Software caused connection abort: socket write error at java.net.SocketOutputStream.socketWrite0(Native Method)
at j......  
org.apache.solr.common.SolrException;null:org.eclipse.jetty.io.EofException at org.eclipse.jetty.http.HttpGenerator.flushBuffer(HttpGenerator.java:914)
org.eclipse.jetty.servlet.ServletHandler; /solr/dihdb/dataimport
java.lang.IllegalStateException: Committed
at org.eclipse.jetty.server.Response.resetBuffer(Response.java:1144)

对于maxIdleTime=3500000，我对example/etc/jetty.xml做了如下更改

我将示例/etc/webdefault.xml更改为会话超时=720

我仍然不断地得到上面的错误

蒂亚

---

Vijay

我更改了-Xmx5120M，这似乎解决了500K和100万条记录的问题。出现这种误导性错误的根本原因是内存不足

---

还为DataImportHandler尝试了100000 1800000

请提供更多细节。您是否通过DataImportHandler将数据库中的数据索引到Solr？我已将数据库中的数据拉入本地具有250K-500K记录的csv文件中。我正在尝试将此本地csv文件中的数据导入到Solr中。我正在使用FileListenityProcessor和LineEntityProcessor导入csv数据。我发现了一个类似的问题，建议发送较低数量的数据要提交的文档。这也有助于：