Performance 重新启动4-5天后，Hbase写入性能会下降

在我们使用phoenix编写数据的集群中，我们面临着这个问题。我们观察到，我们的工作最初运行良好。但几天后（4-5天），我们的工作时间急剧增加（4分钟到30分钟）。输入数据大小几乎相同。重启hbase可以解决接下来4-5天的问题

我们有70个区域服务器，每个服务器大小为128G。50k（每个区域服务器）*70（区域服务器数量）每个作业的投入

从RS日志中，我可以看到响应速度下降警告日志频率从40k/天增加到280k/天，但这些日志中的响应时间小于1000ms

---

2018-04-18 00:00:07831警告[RW.default.writeRpcServer.handler=10，queue=4，port=16020]ipc.RpcServer：（responsetoslow）：{“调用”：“Multi（org.apache.hadoop.hbase.protobuf.generated.ClientProtos$MultiRequest）”，“starttimes”：1524009607697，“responsesize”：106，“方法”：“Multi”，“processingtimes”：134，“客户端”：“192.168.25.70:54718”，“queuetimes”：0，“类”：“HRegionServer”}

检查HBase是否在GC或压缩HFiles上花费了太多时间，如果在写操作较低的情况下有任何空闲时间，请在这段时间内安排一次主要的压缩，我建议记录并分析您的GCactivity@mbaxi感谢您的回复。我们已经禁用了主要压缩，但我可以看到次要压缩正在运行。在单个RS日志pe上存在3-4小时的压缩日志，它们花费的时间从几秒到10分钟不等。我没有看到太多GC暂停日志（在JVM或主机中检测到暂停）。每个区域服务器每天只有1或2个暂停日志条目，时间少于5秒。可能有多个因素导致这些警告，读取量是多少？您的数据是否均匀分布在所有区域？您还应检查rpc调用队列设置、单独的读取和写入队列。您的堆空间也较高因此，启用GC日志并分析这些日志将很有帮助，，混合GC也会影响性能。此外，由于禁用了自动主要压缩功能，您是否手动触发了它？表的总体大小是多少？尝试将phoenix batch size调整为较小的数字…表大小约为1.1T。此表可能包含2000多个区域这会导致问题吗？在hbase重启后，系统会正常运行5-6天。