Solr缩放多个实例和碎片,或为不同集合缩放多个Solr

Solr缩放多个实例和碎片,或为不同集合缩放多个Solr,solr,Solr,我是solr的新手,对缩放有一些看法。我计划在solr推出2个系列,并计划扩大规模 歌曲集(主要用于搜索)。目前约有2000万数据,每天索引100k数据 流量收集(主要用于以后的刻面处理),目前约100m数据,每天索引1m数据 目前,我有3个solrcloud连接到zk,很少有案例solr关闭,因为有太多的索引数据用于流量收集 哪一个对性能都有好处,而且服务器只有3台服务器,每台都是32x3GB RAM和16核(共享) 使用多个实例部署solrcloud,即我有6个solr connect

我是solr的新手,对缩放有一些看法。我计划在solr推出2个系列,并计划扩大规模

  • 歌曲集(主要用于搜索)。目前约有2000万数据,每天索引100k数据
  • 流量收集(主要用于以后的刻面处理),目前约100m数据,每天索引1m数据
目前,我有3个solrcloud连接到zk,很少有案例solr关闭,因为有太多的索引数据用于流量收集

哪一个对性能都有好处,而且服务器只有3台服务器,每台都是32x3GB RAM和16核(共享)

  • 使用多个实例部署solrcloud,即我有6个solr connect和zk
  • 部署多个solrcloud和分离的集合,
    • 3 solr和zk仅适用于歌曲集
    • 另外3个solr和zk仅用于流量收集(此solr与前一个solr分开)

或者任何其他解决方案。

您应该考虑在可管理的范围内保持单个集群。但您可以改进如何处理流量收集(歌曲收集听起来不错):

  • 以这样的速度,它最终将对单个集合来说太大
  • 显示为什么不在每日/每周/或每年收集中索引流量
  • 您的集合将保持可管理的大小,在查询时您将更加高效,因为很多时候您不需要查询整个历史记录,只需查询最后一天、上个月等

这是一个非常重复的设置。

那么,单集群云中的song+收集更受欢迎?每日/每周表示仅从每日/每周恢复模型数据,或所有数据将每日/每周索引,即凌晨3点?不,我指的是1首歌曲收集和1次每日流量收集(而不是每日,可以是每周或每月等)。ohh。如果我分为每月收款,即已收款1年。如果solr中有许多集合,会影响性能吗?或者我应该对它们进行归档?在某一点上,集合太多了,但拥有100个集合并不成问题(关于集合本身的数量),因此当它开始成为问题时,您会注意到,然后您可以移动到一个新集群或将它们归档/折叠成更少的集合