SOLR-高效地为成批的数百万纯文本文件编制索引_Solr

SOLR-高效地为成批的数百万纯文本文件编制索引

solr

SOLR-高效地为成批的数百万纯文本文件编制索引,solr,Solr,什么是索引1000万个纯文本文件的最快、最有效的方法，总容量为300 Gig 这些文件与SOLR安装位于同一台服务器上。来自solrconfig.xml:mergeFactor是25，autoCommit是10000 目前，我正在将文件分别发送到/updatewithcurl和xargs。在cpu使用率较高的情况下，该指数约为每小时500k 谢谢你的帮助至少使用java客户端SolrJ，您可以批量发送文档，从而减少http请求的数量。谢谢@rcomblen我会调查这一点。您可以发布一个关于您最

什么是索引1000万个纯文本文件的最快、最有效的方法，总容量为300 Gig

这些文件与SOLR安装位于同一台服务器上。来自solrconfig.xml:mergeFactor是25，autoCommit是10000

目前，我正在将文件分别发送到/updatewithcurl和xargs。在cpu使用率较高的情况下，该指数约为每小时500k

谢谢你的帮助

至少使用java客户端SolrJ，您可以批量发送文档，从而减少http请求的数量。谢谢@rcomblen我会调查这一点。您可以发布一个关于您最终如何解决问题的状态吗？@MikePurcell我们改变了系统的工作方式，不再存储文件，只需索引它们的名称即可。。对不起，没什么帮助