Mysql Solr在几个较小的块中完全导入

Mysql Solr在几个较小的块中完全导入,mysql,solr,Mysql,Solr,我正在尝试将一个大型MySQL数据库导入到Solr中,而服务器上的导入查询非常繁重(这可能会影响当时正在运行和使用该数据库的实际产品)。有没有办法将完整导入拆分为几个较小的块?我在这里或Solr的文档中都没有找到关于这个主题的任何东西 我知道增量导入功能,但我将其用于新数据/更改数据的增量导入。当然,您可以添加如下条件 WHERE pk<'${dataimporter.request.INDEX}' 其中pk您可能可以检查:- batchSize(默认值:500)–设置在对数据库的一次查

我正在尝试将一个大型MySQL数据库导入到Solr中,而服务器上的导入查询非常繁重(这可能会影响当时正在运行和使用该数据库的实际产品)。有没有办法将完整导入拆分为几个较小的块?我在这里或Solr的文档中都没有找到关于这个主题的任何东西


我知道增量导入功能,但我将其用于新数据/更改数据的增量导入。

当然,您可以添加如下条件

WHERE pk<'${dataimporter.request.INDEX}'
其中pk您可能可以检查:-

batchSize(默认值:500)–设置在对数据库的一次查询中从数据库检索的最大记录数(或者更确切地说是对驱动程序的建议)。在查询返回大量结果的情况下,更改此参数会有所帮助。这可能没有帮助,因为这种机制的实现依赖于JDBC驱动程序