Caching 在Solr中,什么是好的自动升温查询?它们是如何工作的?

Caching 在Solr中,什么是好的自动升温查询?它们是如何工作的?,caching,search,lucene,solr,Caching,Search,Lucene,Solr,这个问题是关于solr安装中不常见的、孤立的读取超时的后续问题 作为一个可能的问题,发现新搜索者的自动升温查询缺失/错误 现在我对自动升温查询“看起来”应该有多好感到困惑 我读过了,但找不到关于这方面的好文件 他们应该在索引中找到很多文档吗?或者他们应该在索引中存在的所有不同字段中进行匹配 难道不仅仅是*:*是最好的自动升温查询吗?或者为什么不是 示例solr配置中包含以下示例查询: <lst><str name="q">solr</str> <str

这个问题是关于solr安装中不常见的、孤立的读取超时的后续问题

作为一个可能的问题,发现新搜索者的自动升温查询缺失/错误

现在我对自动升温查询“看起来”应该有多好感到困惑

我读过了,但找不到关于这方面的好文件

他们应该在索引中找到很多文档吗?或者他们应该在索引中存在的所有不同字段中进行匹配

难道不仅仅是
*:*
是最好的自动升温查询吗?或者为什么不是

示例solr配置中包含以下示例查询:

<lst><str name="q">solr</str> <str name="start">0</str> <str name="rows">10</str></lst>
<lst><str name="q">rocks</str> <str name="start">0</str> <str name="rows">10</str></lst>
solr 0 10
岩石0 10
我把它们改成:

<lst><str name="q">george</str> <str name="start">0</str> <str name="rows">10</str></lst>
george 0 10
为什么??因为索引包含电影实体,其中包含标题和演员字段。那些是搜索最多的。乔治出现在片名和演员中

我真的不知道这是否有意义。所以我的问题是:

  • 对于我的索引,什么是好的自动升温查询?为什么
  • 什么是好的自动升温查询
这是索引中的一个示例文档。索引有大约70000个文档,它们都是这样的(当然只有不同的值): 示例文件:

 <doc> 
  <arr name="actor"><str>Tommy Lee Jones</str><str>Will Smith</str><str>Rip Torn</str> 
    <str>Lara Flynn Boyle</str><str>Johnny Knoxville</str><str>Rosario Dawson</str><str>Tony Shalhoub</str> 
    <str>Patrick Warburton</str><str>Jack Kehler</str><str>David Cross</str><str>Colombe Jacobsen-Derstine</str> 
    <str>Peter Spellos</str><str>Michael Rivkin</str><str>Michael Bailey Smith</str><str>Lenny Venito</str> 
    <str>Howard Spiegel</str><str>Alpheus Merchant</str><str>Jay Johnston</str><str>Joel McKinnon Miller</str> 
    <str>Derek Cecil</str></arr> 
  <arr name="affiliate"><str>amazon</str></arr> 
  <arr name="aka_title"><str>Men in Black II</str><str>MIB 2</str><str>MIIB</str> 
    <str>Men in Black 2</str><str>Men in black II (Hombres de negro II)</str><str>Hombres de negro II</str><str>Hommes en noir II</str></arr> 
  <bool name="blockbuster">false</bool> 
  <arr name="country"><str>US</str></arr> 
  <str name="description">Agent J (Will Smith) muss die Erde wieder vor einigem Abschaum bewahren, denn in Gestalt des verführerischen Dessous-Models Serleena (Lara Flynn Boyle) will ein Alien den Planeten unterjochen. Dabei benötigt J die Hilfe seines alten Partners Agent K (Tommy Lee Jones). Der wurde aber bei seiner "Entlassung" geblitzdingst, und so muß J seine Erinnerung erst mal etwas auffrischen bevor es auf die Jagd gehen kann.</str> 
  <arr name="director"><str>Barry Sonnenfeld</str></arr> 
  <int name="film_id">120912</int> 
  <arr name="genre"><str>Action</str><str>Komödie</str><str>Science Fiction</str></arr> 
  <str name="id">120912</str> 
  <str name="image_url">/media/search/filmcovers/105x/kf/false/F6Q1XW.jpg</str> 
  <int name="imdb_id">120912</int> 
  <date name="last_modified">2011-03-01T18:51:35.903Z</date> 
  <str name="locale_title">Men in Black II</str> 
  <int name="malus">3238</int> 
  <int name="parent_id">0</int> 
  <arr name="product_dvd"><str>amazon</str></arr> 
  <arr name="product_type"><str>dvd</str></arr> 
  <int name="rating">49</int> 
  <str name="sort_title">meninblack</str> 
  <int name="type">1</int> 
  <str name="url">/film/Men-in-Black-II-Barry-Sonnenfeld-Tommy-Lee-Jones-F6Q1XW/</str> 
  <int name="year">2002</int> 
 </doc> 

汤米·李·琼斯·史密斯
劳拉·弗林·博伊尔·约翰尼·诺克斯维尔罗萨里奥·道森托尼·沙尔豪布
帕特里克·沃伯顿杰克·凯勒达维德·克罗斯比·雅各布森·德斯汀
彼得·斯佩洛斯迈克尔·里夫金迈克尔·贝利·史密伦尼·维尼托
霍华德·斯皮格尔·阿尔费斯商业公司杰伊·约翰斯顿·乔尔·麦金农·米勒
德里克·塞西尔
亚马逊
黑衣人IIMIB 2MIIB
黑衣人2黑衣人II黑衣人II黑衣人II黑衣人II
假的
美国
特工J(威尔·史密斯饰)穆斯·埃尔德·维德·沃尔·艾尼杰姆·阿布沙姆·贝瓦伦(Elnigem Abschaum bewahren),格式塔《幸福女神》(verführeschen)中的丹尼·德斯森(Serleena)(劳拉·弗林·博伊尔饰)将登上外星人之家的飞机。Dabei benötigt J die Hilfe seines alten合伙人经纪人K(汤米·李·琼斯)。在布利茨丁街的一个“入口”区域内,塞纳河的上游和下游区域都有一个安全的区域。
巴里·索恩菲尔德
120912
科摩迪行动科幻小说
120912
/媒体/搜索/电影封面/105x/kf/false/F6Q1XW.jpg
120912
2011-03-01T18:51:35.903Z
黑衣人II
3238
0
亚马逊
数字化视频光盘
49
梅因布莱克
1.
/film/Men-in-Black-II-Barry-Sonnenfeld-Tommy-Lee-Jones-F6Q1XW/
2002
大多数查询都是演员字段上的精确匹配查询,并带有一些过滤器

例如:

信息:[]webapp=/solr path=/select/ params={facet=true&sort=score+asc,+malus+asc,+year+desc&hl.simple.pre=starthl&hl=true&version=2.2&fl=*,score&facet.query=year:[1900+TO+1950]&facet.query=year:[1951+TO+1980]&facet.query=year:[1981+TO+1990]&facet.query=year:[1991+TO+2000]&facet.query=year:[2001+TO+2011]&bf=div(10000,malus),100)^10&hl.simple.post=endhl&facet.field=genre&facet.field=blockbuster&facet.field=affiliate&facet.field=product\u type&qs=5&qt=dismax&hl.fragsize=200&mm=2&facet.mincount=1&qf.blockbuster.facet.mincount=0&f.genre.facet.limit=20&hl.fl=actor&wt=json&f.affiliation.facet.mincount=1&f.count=1&f.count.facet.facet=20行=10&pf=actor^5&start=0&q=“Josi+Kleinpeter”&ps=3} 点击次数=1状态=0 QTime=4


变暖有两种类型。查询缓存预热和文档缓存预热(也有过滤器,但与查询类似)。查询缓存预热可以通过一个设置来完成,该设置将在重新加载索引之前重新运行X个最近的查询。文档缓存预热是不同的

文档缓存预热的目标是将大量最常访问的文档放入文档缓存,这样就不必从磁盘读取它们。因此,您的查询应该关注这一点。您需要尝试找出最常搜索的文档是什么,然后加载这些文档。最好使用最少数量的查询。这与字段的实际内容无关。编辑:澄清。当预热文档缓存时,您最感兴趣的是搜索结果中出现频率最高的文档,而不管它们是如何查询的

就我个人而言,我会搜索以下内容:

  • 按国家加载,如果您的大多数搜索是针对美国电影
  • 如果你的大部分搜索都是为了更近期的电影,那么按年份加载
  • 如果您有一个搜索量很大的流派的简短列表,请按流派加载

最后一种可能是全部加载。你的文件看起来很小。现在,就服务器内存而言,其中70000个根本算不上什么。如果您的文档缓存足够大,并且您有足够的可用内存,请使用它。作为补充说明,文档缓存将为您带来一些最大的好处。查询缓存只对重复的查询有利,而重复的查询可能低得令人失望。您几乎总能从大型文档缓存中获益。

OP可能也使用了字段和/或筛选器缓存,这也有利于预热。例如,如果您有一个枚举方面,它将缓存与该过滤器匹配的文档的位图,因此您希望对所有文档进行预热。在这种情况下,查询方式很重要,而不仅仅是结果。@Xodarap-我相信过滤器缓存可以被隐式加热。在重新加载索引之前,它们作为最近运行的查询的子集运行。不过这是一个热交换。在冷启动时,是的,问题很重要。