Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/search/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Search 最佳Solr JVM/虚拟/物理内存配置_Search_Ubuntu_Solr_Jvm - Fatal编程技术网

Search 最佳Solr JVM/虚拟/物理内存配置

Search 最佳Solr JVM/虚拟/物理内存配置,search,ubuntu,solr,jvm,Search,Ubuntu,Solr,Jvm,我们公司有几种不同的获取潜在客户的方式,以及我们处理的几种类型的潜在客户。每种类型的潜在客户之间只有细微的差异,并且大部分信息与一种或多种其他潜在客户类型共享或相关。我和我的团队正在尝试使用Solr构建/配置一个索引,该索引处理这些潜在客户类型及其所有共享数据。。客户数据,度假村数据。etc(总共约120万条记录)。我们目前正在托管一台Ubuntu服务器(12GRAM,8核Opteron),运行Tomcat6和Solr3.4 我希望该索引能够在客户在我们的网站上提交lead gen表单时(大约每

我们公司有几种不同的获取潜在客户的方式,以及我们处理的几种类型的潜在客户。每种类型的潜在客户之间只有细微的差异,并且大部分信息与一种或多种其他潜在客户类型共享或相关。我和我的团队正在尝试使用Solr构建/配置一个索引,该索引处理这些潜在客户类型及其所有共享数据。。客户数据,度假村数据。etc(总共约120万条记录)。我们目前正在托管一台Ubuntu服务器(12GRAM,8核Opteron),运行Tomcat6和Solr3.4

我希望该索引能够在客户在我们的网站上提交lead gen表单时(大约每天1500-2000次)实时添加记录,并在员工添加或修改数据时(大约每天2500-3000次)进行更新

此外,我需要网站上的客户和内部员工能够快速搜索这些数据,包括过滤器、面、自动完成、突出显示和所有编写良好的搜索所需的内容

此设置当前正在运行,但经常挂起网站和内部应用程序中的更新记录。提交每1000个文档或5秒完成一次,我每天优化一次。对于这种类型的设置,最佳的JVM、服务器或Solr配置是什么?任何帮助都将不胜感激,我可以向任何愿意帮助的人提供所需的信息。

首先

在Solr中配置JVM堆大小时,有两个常见错误:

  • 给JVM提供太多内存(操作系统缓存将无法缓存磁盘操作)
  • 没有给JVM足够的内存(垃圾收集器将面临很大的压力,它将被迫运行频繁的停止世界收集,使用JMX监视来确定是否触发了完整的GC)
应用程序可能挂起的另一个原因是后台合并。Lucene基于段,只要段数大于
mergeFactor
,就会触发合并。较低的
mergeFactor
值可以解释挂起

您应该提供有关当前设置的更多详细信息,以便我们可以帮助您:

  • JVM大小
  • 您正在使用的采集器(G1、吞吐量采集器、并发低暂停采集器等)
  • 索引大小(在磁盘上,而不是文档数)
  • mergeFactor
    ramBufferSizeMB
首先

在Solr中配置JVM堆大小时,有两个常见错误:

  • 给JVM提供太多内存(操作系统缓存将无法缓存磁盘操作)
  • 没有给JVM足够的内存(垃圾收集器将面临很大的压力,它将被迫运行频繁的停止世界收集,使用JMX监视来确定是否触发了完整的GC)
应用程序可能挂起的另一个原因是后台合并。Lucene基于段,只要段数大于
mergeFactor
,就会触发合并。较低的
mergeFactor
值可以解释挂起

您应该提供有关当前设置的更多详细信息,以便我们可以帮助您:

  • JVM大小
  • 您正在使用的采集器(G1、吞吐量采集器、并发低暂停采集器等)
  • 索引大小(在磁盘上,而不是文档数)
  • mergeFactor
    ramBufferSizeMB

这不是对您问题的完整回答,但我要做的第一件事是升级到最新的Solr3.6.0,您为什么不在最新版本中?还可以使用commitWithin批量处理尽可能多的提交,也许可以将5秒增加到20秒或30秒?这不是对您问题的完整回答,但我要做的第一件事是升级到最新的Solr3.6.0,您不在最新版本中的原因是什么?还可以使用commitWithin批量处理尽可能多的提交,也许可以将5秒增加到20或30秒?