通过Java API在弹性搜索中进行大数据集搜索
我开始对一个项目使用弹性搜索,在如何进行搜索方面有点矛盾。我的印象是实时搜索速度非常快,Kibana的速度给我留下了深刻的印象,但我在试图找到通过Java查询大型数据集(超过500万个文档)的最佳方法时,经历了一段可怕的时光通过Java API在弹性搜索中进行大数据集搜索,java,
elasticsearch,Java,
elasticsearch,我开始对一个项目使用弹性搜索,在如何进行搜索方面有点矛盾。我的印象是实时搜索速度非常快,Kibana的速度给我留下了深刻的印象,但我在试图找到通过Java查询大型数据集(超过500万个文档)的最佳方法时,经历了一段可怕的时光 我在网上读过,最好的选择是使用滚动搜索,但它也指出这不是用于实时搜索,当我看到一个查询需要4分钟以上才能查询500万个文档时(通过SQL数据库可以更快)。有人能澄清ES中的实时搜索是否只在返回顶级结果时快速,而在返回大型数据集时不快速?我还需要澄清的是,带查询和获取的滚动搜
我在网上读过,最好的选择是使用滚动搜索,但它也指出这不是用于实时搜索,当我看到一个查询需要4分钟以上才能查询500万个文档时(通过SQL数据库可以更快)。有人能澄清ES中的实时搜索是否只在返回顶级结果时快速,而在返回大型数据集时不快速?我还需要澄清的是,带查询和获取的滚动搜索对于大型查询最有意义,任何其他提示都会有所帮助 为什么需要返回大型数据集进行查询?好问题,这是存储在弹性搜索中的财务刻度数据,在执行回测时,我需要查询整个数据集以进行市场交易。