Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/performance/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Performance kafka代理服务器CPU利用率不均衡_Performance_Apache Kafka_Monitoring_Cpu Usage - Fatal编程技术网

Performance kafka代理服务器CPU利用率不均衡

Performance kafka代理服务器CPU利用率不均衡,performance,apache-kafka,monitoring,cpu-usage,Performance,Apache Kafka,Monitoring,Cpu Usage,我们有3个kafka集群节点,大约32个主题和400多个分区 分布在这些服务器上。我们把货物均匀地分布在每个人身上 但是,我们观察到2个代理服务器正在运行 大约60%的CPU,而第三个CPU的运行率仅为10%左右。我们该怎么办 确保所有服务器都正常运行?我需要重新评估这个问题吗 分区(卡夫卡重新分配分区指令) PS:分区均匀分布在所有代理服务器上。 在某些情况下,这是由于各个用户组决定在\uu consumer\u offset主题中使用哪个分区的方式造成的 在较高的级别上,每个消费者组只更新此

我们有3个kafka集群节点,大约32个主题和400多个分区 分布在这些服务器上。我们把货物均匀地分布在每个人身上 但是,我们观察到2个代理服务器正在运行 大约60%的CPU,而第三个CPU的运行率仅为10%左右。我们该怎么办 确保所有服务器都正常运行?我需要重新评估这个问题吗 分区(卡夫卡重新分配分区指令)

PS:分区均匀分布在所有代理服务器上。

在某些情况下,这是由于各个用户组决定在
\uu consumer\u offset
主题中使用哪个分区的方式造成的

在较高的级别上,每个消费者组只更新此主题中的一个分区。这通常会导致
\u消费者\u偏移量
主题的消息速率分布极不均匀

情况可能是: 你有两个非常庞大的消费群体,这意味着他们需要经常更新
\uu consumer\u offset
主题。其中一个组使用一个分区,该分区将第二个代理作为其领导者。另一个使用一个分区,该分区将第三个代理作为其前导。 这将导致大量CPU被用于更新此主题,并且只会发生在第2和第3个代理上(如屏幕截图所示)


一篇详细的博文是

这三台服务器是否都作为代理运行?或者他们中的一个是动物园管理员。您是否可以看到,所有节点的消息消耗/生成都是相同的?每台服务器上运行的是什么服务?所有服务器都只运行zookeper和kafka服务。PFA为每台代理服务器接收的消息总数以及当天服务器的CPU使用率。我建议让JMX对ZK和卡夫卡进行监控