Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/facebook/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何减少全表扫描对Hbase群集的影响?_Hbase_Hortonworks Data Platform - Fatal编程技术网

如何减少全表扫描对Hbase群集的影响?

如何减少全表扫描对Hbase群集的影响?,hbase,hortonworks-data-platform,Hbase,Hortonworks Data Platform,有没有可能限制糟糕的查询对Hbase群集的影响 如果是,需要实现什么 我是否需要kerberos来识别用户并限制其查询的影响,或者为他们分配资源 来自phoenix的糟糕查询可能会杀死整个Hbase集群,这是我真正想要改变的。对于本主题中的任何提示,我将不胜感激。在2.0之前的版本中运行OLAP查询时,我们遇到了类似的问题。在2.0中,我们在Spark上引入了一个新的执行引擎,该引擎使用混合扫描仪,直接从HFiles读取数据,并将其与来自HBase Memstore的数据合并,这样我们就可以将如

有没有可能限制糟糕的查询对Hbase群集的影响

如果是,需要实现什么

我是否需要kerberos来识别用户并限制其查询的影响,或者为他们分配资源

来自phoenix的糟糕查询可能会杀死整个Hbase集群,这是我真正想要改变的。对于本主题中的任何提示,我将不胜感激。

在2.0之前的版本中运行OLAP查询时,我们遇到了类似的问题。在2.0中,我们在Spark上引入了一个新的执行引擎,该引擎使用混合扫描仪,直接从HFiles读取数据,并将其与来自HBase Memstore的数据合并,这样我们就可以将如此大的扫描对区域服务器的影响降至最低,因为我们只访问HBase的内存数据


您可以查看我们是如何在中实现它的。主要类是和。

出于好奇:如何通过HBase快照确保在Spark查询期间HFiles是一致的?@SamsonScharfrichter我们使用协处理器(我前面链接的MemstoreAwareObserver)确保扫描是一致的。如果压缩或拆分正在运行(几毫秒),我们会延迟扫描,并在该区域运行扫描时阻止压缩/拆分。