Hbase从多个读卡器读取多个键

Hbase从多个读卡器读取多个键,hbase,Hbase,我使用的是Hbase 0.94.X和hadoop 1.0.4 我想读取hbase表中的所有行,但将有多个读卡器,读卡器的数量将来可能会增加,读卡器不知道DB中存在的键,我想确保每个读卡器只获得一次键,然后处理它,然后请求下一个键 像 我的hbase表中的k1到kn键 Reader1-->处理后处理键k1将获取键k3,因为读取器2正在处理k2 Reader2-->处理后处理键k2要求下一个键 任何关于如何实现这一目标的建议都将大有裨益 您好,也许您可以使用ROW。如果一个进程接触到一行,那么它会自

我使用的是Hbase 0.94.X和hadoop 1.0.4 我想读取hbase表中的所有行,但将有多个读卡器,读卡器的数量将来可能会增加,读卡器不知道DB中存在的键,我想确保每个读卡器只获得一次键,然后处理它,然后请求下一个键

像 我的hbase表中的k1到kn键 Reader1-->处理后处理键k1将获取键k3,因为读取器2正在处理k2 Reader2-->处理后处理键k2要求下一个键

任何关于如何实现这一目标的建议都将大有裨益


您好,

也许您可以使用ROW。如果一个进程接触到一行,那么它会自动更改此行中的某些内容,而其他进程则跳过此行。但如果我是你,我会给划艇加盐,比如从1号到50号。当读卡器进程启动时,读卡器进程1将读取salt1,读卡器进程2将读取salt2等。通过这样做,集群上的负载也将以这种方式平衡。

我已经编写了一个作业,读取密钥并将其放在kafka上,现在由于kafka支持多个消费者,我的问题得到了解决:)