Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/oop/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hbase服务质量:在Hbase中插入相同类型行的时间不一致_Hbase - Fatal编程技术网

Hbase服务质量:在Hbase中插入相同类型行的时间不一致

Hbase服务质量:在Hbase中插入相同类型行的时间不一致,hbase,Hbase,我有一个群集Hbase设置。其中我有3个区域服务器。有一个表,其中27个区域平均分布在3个区域服务器中——每个区域服务器9个区域 区域服务器1有---区域1-9 区域服务器2有---区域10-18 区域服务器3有---区域19-27 现在,当我启动一个程序,在区域1和区域5(都在区域服务器-1下)交替和连续地插入行时,我发现每一行的插入时间不是恒定的或一致的——存在很多差异,或者说插入时间的标准差相当大。有时插入一行需要2毫秒,有时需要3毫秒,有时需要1000毫秒,有时甚至需要>3000毫秒。即

我有一个群集Hbase设置。其中我有3个区域服务器。有一个表,其中27个区域平均分布在3个区域服务器中——每个区域服务器9个区域

区域服务器1有---区域1-9 区域服务器2有---区域10-18 区域服务器3有---区域19-27

现在,当我启动一个程序,在区域1和区域5(都在区域服务器-1下)交替和连续地插入行时,我发现每一行的插入时间不是恒定的或一致的——存在很多差异,或者说插入时间的标准差相当大。有时插入一行需要2毫秒,有时需要3毫秒,有时需要1000毫秒,有时甚至需要>3000毫秒。即使行中的数据大小相等

我知道,由于区域的刷新和压缩,写操作会被阻塞,但不应在更大的时间跨度内阻塞,并且每次刷新/压缩(较小的压缩)的阻塞时间应保持一致

总之,每次冲洗和压实时,每次压实和冲洗所需的时间几乎相同

对于我们的应用程序,我们需要一致的服务质量,如果不是完美的,我们至少需要一条清晰可见的边界线——就像对于每行插入,即使发生轻微的压缩或冲洗,也需要大约0到10毫秒,但不超过10毫秒(仅举一个例子)

是否有我应该尝试的设置/配置

关于如何在Hbase中实现它的任何想法

任何帮助都将不胜感激


提前谢谢

第一次压缩不会阻止写入! 我建议您做的主要事情是在区域服务器/客户机上检查GC。 顺便问一下,你有没有检查过你没有发生分裂

其他一些有助于回答问题的输入

  • 数据的大小、列数和列族数是多少
  • 插入的吞吐量是多少
  • 您为您的HBase区域服务器分配了多少内存
  • HDFS数据节点与区域服务器在同一台服务器上
  • 每台机器有多少磁盘

  • 第一次压缩不会阻止您的写入! 我建议您做的主要事情是在区域服务器/客户机上检查GC。 顺便问一下,你有没有检查过你没有发生分裂

    其他一些有助于回答问题的输入

  • 数据的大小、列数和列族数是多少
  • 插入的吞吐量是多少
  • 您为您的HBase区域服务器分配了多少内存
  • HDFS数据节点与区域服务器在同一台服务器上
  • 每台机器有多少磁盘
  • 关于“写入被阻止”-您可以“grep”hbase regionserver日志文件并搜索“阻止更新”。如果你有这样的行,这意味着你的更新被阻止。可能出现这种情况的原因有很多。对我来说,这是HDFS——它太慢了。我们发现HDFS速度很慢,因为一些节点连接到100位交换机,而其他节点连接到1000位交换机。关于“写入被阻止”,您可以“grep”hbase regionserver日志文件并搜索“阻止更新”。如果你有这样的行,这意味着你的更新被阻止。可能出现这种情况的原因有很多。对我来说,这是HDFS——它太慢了。我们发现HDFS速度很慢,因为一些节点连接到一个100Mbit交换机,而其他节点连接到1000Mbit交换机。