solr上的多线程索引

solr上的多线程索引,solr,Solr,我使用tomcat将Solr的一个实例部署到ubuntu机器上。然后我有一个单线程客户端程序来读取数据并将数据注入Solr。我正在观察内存和cpu的使用情况,并意识到我仍然有很多资源(内存和cpu方面)可供使用。我想知道是否应该将索引代码更改为多线程以注入Solr?要使用当前的单线程程序索引2000万个数据,大约需要14小时。这就是为什么我想知道我是否也应该改为使用多线程。提前感谢您的建议和帮助!:) 在Solr中索引时多线程被广泛使用。 你说的不是很清楚,如果你也可以多线程阅读你的来源,但我认

我使用tomcat将Solr的一个实例部署到ubuntu机器上。然后我有一个单线程客户端程序来读取数据并将数据注入Solr。我正在观察内存和cpu的使用情况,并意识到我仍然有很多资源(内存和cpu方面)可供使用。我想知道是否应该将索引代码更改为多线程以注入Solr?要使用当前的单线程程序索引2000万个数据,大约需要14小时。这就是为什么我想知道我是否也应该改为使用多线程。提前感谢您的建议和帮助!:)

在Solr中索引时多线程被广泛使用。 你说的不是很清楚,如果你也可以多线程阅读你的来源,但我认为这是一条路要走。 我建议您尝试一下,但首先尝试分析您的代码,看看哪部分代码最慢,并将其包含在多线程中

还要注意你的承诺策略

来自Solr文档:() “一般来说,每个更新请求添加多个文档比每个更新请求添加一个文档要快。。。
减少自动提交的频率或完全禁用它们可能会加快索引速度。请注意,这可能会导致内存使用量增加,这本身可能会导致性能问题,例如过度交换或垃圾回收。“

还可以查看此链接: