solr上的近实时搜索

solr上的近实时搜索,solr,hbase,real-time,solrcloud,real-time-data,Solr,Hbase,Real Time,Solrcloud,Real Time Data,我们有一个实时系统,我们使用solr(v4.3.1)来索引和服务数据(以及分析结果)。由于它是实时的,大量的数据每时每刻都会到达,我们需要以某种方式存储它,并用分析结果向最终用户显示。为了用分析结果显示原始数据(换句话说,是数据摘要),我们使用范围和方面查询来查询solr,性能令人满意。然而,随着数据不断接收,solr似乎不是立即存储/索引数据的好解决方案(可能已启用)。我计划在solr前面使用hbase作为缓冲区,但我不确定如何处理hbase上的方面/范围查询 我如何处理这种情况/w hbas

我们有一个实时系统,我们使用solr(v4.3.1)来索引和服务数据(以及分析结果)。由于它是实时的,大量的数据每时每刻都会到达,我们需要以某种方式存储它,并用分析结果向最终用户显示。为了用分析结果显示原始数据(换句话说,是数据摘要),我们使用范围和方面查询来查询solr,性能令人满意。然而,随着数据不断接收,solr似乎不是立即存储/索引数据的好解决方案(可能已启用)。我计划在solr前面使用hbase作为缓冲区,但我不确定如何处理hbase上的方面/范围查询

我如何处理这种情况/w hbase?任何让事情变得更快的想法都会受到赞赏


谢谢大家。

Solr有哪些具体问题?搜索时间长,显示更改的速度慢?嗯,如果您尝试在包含数百万文档的solr实例上以15分钟的间隔索引文档,缓存预热过程需要一段时间,查询将排队,直到solr完成其内部操作。在它完成并能够在合理的时间内响应之后,新文档到达,整个等待过程再次开始。也许可以定义前端缓存solr实例,但不确定可伸缩性和性能。我想了解社区在这个问题上的经验。添加文档不应阻止立即执行查询。您在等待什么内部操作?我们正在使用solr 4.3.1并为新文档编制索引-可能不是阻止而是延迟查询的执行。好吧,如果我说查询要等到索引完成,但响应时间会急剧增加,那就错了。也许你的CPU是有限的。您可以尝试将添加的文档分散在15分钟内,而不是突然添加。