Hadoop ZK hbase复制节点通过hbase数据为对等方正确复制而呈指数增长

Hadoop ZK hbase复制节点通过hbase数据为对等方正确复制而呈指数增长,hadoop,hbase,replication,apache-zookeeper,Hadoop,Hbase,Replication,Apache Zookeeper,在hbase-1.4.10中,我为所有表启用了复制,并配置了对等id。列表中的对等提供了以下结果: hbase(main):001:0> list_peers PEER_ID CLUSTER_KEY ENDPOINT_CLASSNAME STATE TABLE_CFS BANDWIDTH 1 10.XX.221.XX,10.XX.234.XX,10.XX.212.XX:2171:/hbase nil ENABLED nil 0 1 row(s) in 0.1430 second

在hbase-1.4.10中,我为所有表启用了复制,并配置了对等id。列表中的对等提供了以下结果:

 hbase(main):001:0> list_peers  
PEER_ID CLUSTER_KEY ENDPOINT_CLASSNAME STATE TABLE_CFS BANDWIDTH  
1 10.XX.221.XX,10.XX.234.XX,10.XX.212.XX:2171:/hbase nil ENABLED nil 0 
1 row(s) in 0.1430 seconds
但复制状态显示复制滞后

hbase(main):002:0> status 'replication'
version 1.4.10
3 live servers
    10.XX.232.XX:
       SOURCE: PeerID=1, AgeOfLastShippedOp=0, SizeOfLogQueue=1, TimeStampsOfLastShippedOp=Thu Jan 01 05:30:00 IST 1970, Replication Lag=**1619545264329**
       SINK  : AgeOfLastAppliedOp=0, TimeStampsOfLastAppliedOp=Tue Apr 27 23:09:23 IST 2021
    10.XX.118.XX:
       SOURCE: PeerID=1, AgeOfLastShippedOp=0, SizeOfLogQueue=1, TimeStampsOfLastShippedOp=Thu Jan 01 05:30:00 IST 1970, Replication Lag=**1619545264663**
       SINK  : AgeOfLastAppliedOp=0, TimeStampsOfLastAppliedOp=Tue Apr 27 18:53:23 IST 2021
    10.XX.138.XX:
       SOURCE: PeerID=1, AgeOfLastShippedOp=0, SizeOfLogQueue=1, TimeStampsOfLastShippedOp=Thu Jan 01 05:30:00 IST 1970, Replication Lag=**1619545263509**
       SINK  : AgeOfLastAppliedOp=0, TimeStampsOfLastAppliedOp=Tue Apr 27 10:31:05 IST 2021
但是所有数据都正确地复制到定义的集群中。我已经检查了两个集群中的表

我已经使用VerifyReplication Mapreduce检查了未复制的行。但在未复制的行中没有行。都排得很好

./hbase org.apache.hadoop.hbase.mapreduce.replication.VerifyReplication 1 tablename

org.apache.hadoop.hbase.mapreduce.replication.VerifyReplication$Verifier$Counters
        GOODROWS=45
    File Input Format Counters 
        Bytes Read=0
    File Output Format Counters 
        Bytes Written=0 
由于这个问题,我发现复制中的ZK节点呈指数增长,这导致运行ZK集群时出现问题,最终也会影响Hbase连接。以下异常发生在ZK中

错误java.io.IOException:Len错误

在ZK中增加jute.maxbuffer并不能解决问题,因为复制znode正在增加,尽管数据已正确复制到给定的集群对等id

我已启用群集之间的双向复制。它发生在两个集群中

hbase version - 1.4.10  
ZK Version -  3.4.10  
Hadoop version - 2.7.3

请帮助解决此问题。

上述问题已在以下问题下提交

升级到1.4.11修复了zknode呈指数增长的问题