Java 使用Solr和20+;索引中有多少项?

Java 使用Solr和20+;索引中有多少项?,java,apache,tomcat,solr,tomcat7,Java,Apache,Tomcat,Solr,Tomcat7,我正在寻找一些关于Tomcat7上Java内存分配的建议,运行Solr:-) 事实如下: 运行Solr 1.4.1,索引中有大约2000万个不同大小的项目 修剪后的索引约为40-45 GB大 大约40000-60000篇文章每个月添加到索引中。文章大小不一,从几kBs到15-20 kBs不等 大约5000-8000张图像每个月添加到索引中。(实际上不是图像本身,而是一些元数据) Solr配置详细信息: 合并因子10 ramBufferSizeMB 128 MB maxMergeMB 102

我正在寻找一些关于Tomcat7上Java内存分配的建议,运行Solr:-)

事实如下:

  • 运行Solr 1.4.1,索引中有大约2000万个不同大小的项目
  • 修剪后的索引约为40-45 GB
  • 大约40000-60000篇文章个月添加到索引中。文章大小不一,从几kBs到15-20 kBs不等
  • 大约5000-8000张图像个月添加到索引中。(实际上不是图像本身,而是一些元数据)
Solr配置详细信息:

  • 合并因子10
  • ramBufferSizeMB 128 MB
  • maxMergeMB 1024.0 MB
在使用Intel Xeon CPU(4核)+6 GB内存的Win 2007服务器上执行完全重新索引时,索引日志条目大约需要3,5小时,索引图像大约需要4,5小时

但是,我们已经将索引服务器升级到12GB内存,并为最大内存池分配了Java6144MB初始内存池:1024MB

重新启动Apache时,Tomcat需要大约5-10分钟才能达到~5 GB的内存使用率。再过一两个小时,它就达到了6GB的标准并保持在那里

当我们使用32位Apache时遇到了2GB的障碍,我们得到了一个OutOfMemoryError:1-1,5周后的Java堆空间。3 GB加起来可能需要2-3周

现在,我们已经在64位Apache和Java上运行了Solr,分配了6GB的内存,为期几天。到目前为止没有问题


鉴于以上事实,您将如何修剪Solr索引和调整内存使用?

您的图像索引有多大?你考虑过把这两个指数分开吗?如果你把它们放在不同盒子上的不同SOLR实例上,你会看到性能的提高。

你的图像索引有多大?你考虑过把这两个指数分开吗?如果您将它们放在不同盒子上的不同SOLR实例上,您应该会看到性能的提高。

现在我们有一个限制,即使用多个服务器。这在未来可能会改变。图像索引约为20GB。还没有分开索引呢!您还可以在同一服务器上的不同服务之间进行分片。把一个放在端口8983上,下一个放在端口8984上!现在,我们有一个使用多个服务器的约束。这在未来可能会改变。图像索引约为20GB。还没有分开索引呢!您还可以在同一服务器上的不同服务之间进行分片。把一个放在端口8983上,下一个放在端口8984上!你看到了吗?是的,谢谢你毛里西奥!你看到了吗?是的,谢谢你毛里西奥!