Hbase ApachePhoenix:关于写重表的二级索引upsert性能

Hbase ApachePhoenix:关于写重表的二级索引upsert性能,hbase,phoenix,Hbase,Phoenix,我想大致了解具有二级索引的写重表的upsert性能 索引包含表中的所有字段事实上,非行键字段的数量为1,这是varbinary类型 我做了一个粗略的测试,结果如下: 带有二级索引的表格:4.3分钟 没有二级索引的表:53秒 测试是使用ApacheSpark程序完成的,该程序采用PhoenixInputFormat 第二个索引是全局可变的 对我来说,与没有二级索引的表相比,结果有点太慢了 速度大约慢4.7倍。我希望大约是2~2.5倍。因为它实际上写入了两个表 这是一个典型的性能惩罚吗 如果是这样的

我想大致了解具有二级索引的写重表的upsert性能

索引包含表中的所有字段事实上,非行键字段的数量为1,这是varbinary类型

我做了一个粗略的测试,结果如下:

带有二级索引的表格:4.3分钟 没有二级索引的表:53秒 测试是使用ApacheSpark程序完成的,该程序采用PhoenixInputFormat

第二个索引是全局可变的

对我来说,与没有二级索引的表相比,结果有点太慢了

速度大约慢4.7倍。我希望大约是2~2.5倍。因为它实际上写入了两个表

这是一个典型的性能惩罚吗

如果是这样的话,我想我必须放弃一个全局的、可变的二级索引,用于写量大的表

更新

我的测试集群由1个名称节点和3个数据节点组成。它很小

数据节点机器规格如下:绝不强大

CPU:Core i7-4790的内核数:4个,线程数:8个 内存:32GB 8GB x 4 硬盘驱动器:8TB 2TB x 4 网络:1Gb 软件规格:

Hadoop:HortonWorksHDP2.2Hadoop 2.6 ApacheSpark:1.3.0 ApachePhoenix:4.3.1
增加的记录数量约为600万。它只有一列,数据类型是varbinary,而且很小。远低于1k

我认为出了问题。你考虑过调谐部分吗?你是如何衡量业绩的?你使用哪种硬件?@SashaEgorov我已经用硬件和软件规范更新了这个问题。顺便说一句,实际上测试后不久区域服务器就坏了。顺便说一句,我无法订阅phoenix邮件列表。。。我不知道怎么了。