如何减少全表扫描对Hbase群集的影响?
有没有可能限制糟糕的查询对Hbase群集的影响 如果是,需要实现什么 我是否需要kerberos来识别用户并限制其查询的影响,或者为他们分配资源 来自phoenix的糟糕查询可能会杀死整个Hbase集群,这是我真正想要改变的。对于本主题中的任何提示,我将不胜感激。在2.0之前的版本中运行OLAP查询时,我们遇到了类似的问题。在2.0中,我们在Spark上引入了一个新的执行引擎,该引擎使用混合扫描仪,直接从HFiles读取数据,并将其与来自HBase Memstore的数据合并,这样我们就可以将如此大的扫描对区域服务器的影响降至最低,因为我们只访问HBase的内存数据如何减少全表扫描对Hbase群集的影响?,hbase,hortonworks-data-platform,Hbase,Hortonworks Data Platform,有没有可能限制糟糕的查询对Hbase群集的影响 如果是,需要实现什么 我是否需要kerberos来识别用户并限制其查询的影响,或者为他们分配资源 来自phoenix的糟糕查询可能会杀死整个Hbase集群,这是我真正想要改变的。对于本主题中的任何提示,我将不胜感激。在2.0之前的版本中运行OLAP查询时,我们遇到了类似的问题。在2.0中,我们在Spark上引入了一个新的执行引擎,该引擎使用混合扫描仪,直接从HFiles读取数据,并将其与来自HBase Memstore的数据合并,这样我们就可以将如
您可以查看我们是如何在中实现它的。主要类是和。出于好奇:如何通过HBase快照确保在Spark查询期间HFiles是一致的?@SamsonScharfrichter我们使用协处理器(我前面链接的MemstoreAwareObserver)确保扫描是一致的。如果压缩或拆分正在运行(几毫秒),我们会延迟扫描,并在该区域运行扫描时阻止压缩/拆分。