Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/performance/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Mysql 为什么Solr 5.3.x中的导入过程非常慢?_Mysql_Performance_Solr_Lucene - Fatal编程技术网

Mysql 为什么Solr 5.3.x中的导入过程非常慢?

Mysql 为什么Solr 5.3.x中的导入过程非常慢?,mysql,performance,solr,lucene,Mysql,Performance,Solr,Lucene,我正在使用Solr5.3.1的DataImportHandler导入IMDB数据,并将其导入MySQL 然而,处理一个文档需要几秒钟甚至几分钟。我的表格包含超过10万行,因此这将花费很长时间。我已经具体化了所有数据,MySQL只需要几分钟就可以处理所有行 是什么原因导致了这种糟糕的表现?@yangrui 不幸的是,对于你提出的为什么索引速度慢的问题,没有一个单一的答案。24G是一个很大的堆,但取决于索引的实际大小,它可能是不够的 如果提交过于频繁,修改提交策略也会有所帮助。SOLR在发生“提交”

我正在使用Solr5.3.1的DataImportHandler导入IMDB数据,并将其导入MySQL

然而,处理一个文档需要几秒钟甚至几分钟。我的表格包含超过10万行,因此这将花费很长时间。我已经具体化了所有数据,MySQL只需要几分钟就可以处理所有行

是什么原因导致了这种糟糕的表现?

@yangrui 不幸的是,对于你提出的为什么索引速度慢的问题,没有一个单一的答案。24G是一个很大的堆,但取决于索引的实际大小,它可能是不够的

如果提交过于频繁,修改提交策略也会有所帮助。SOLR在发生“提交”/“自动提交”时,发挥了很大的魔力,使文档可用于搜索。然而,当提交确实发生时,它是一个资源匮乏的操作

另一件不明显的事情是服务器上实际可用的未分配RAM。我所说的未分配是指服务器上除了作为堆与JVM关联的RAM之外的额外RAM。 我建议浏览一下这些文档 我怀疑你的机器上可能没有足够的内存。
希望这有帮助。

检查内存配置,您可能没有为Solr分配足够的内存。已将堆大小增加到24g,但似乎没有什么用处。另一方面,请检查您的提交策略;您可能希望不频繁地自动提交(例如,可能每10000个文档自动提交一次)。您的提交策略可能被配置为非常频繁地提交,这会减慢速度。请参阅,您还可以检查solrconfig.xml中是否启用了
。对于批量进口,不应如此。