Apache kafka 有关特定主题的消费群体的紧凑显示

Apache kafka 有关特定主题的消费群体的紧凑显示,apache-kafka,command-line,Apache Kafka,Command Line,我试过: # kafka-consumer-groups.sh --bootstrap-server localhost:9092 --command-config client.properties --describe --all-groups --topic topic1 得到: 选项“[topic]”不能与选项“[Descripte]”一起使用 所以我想出了一个简单的补丁: # cat kafka-consumer-status.sh #/bin/bash if [[ -z $1 ]]

我试过:

# kafka-consumer-groups.sh --bootstrap-server localhost:9092 --command-config client.properties --describe --all-groups --topic topic1
得到:

选项“[topic]”不能与选项“[Descripte]”一起使用

所以我想出了一个简单的补丁:

# cat kafka-consumer-status.sh
#/bin/bash
if [[ -z $1 ]]; then
    echo "Missing parameter: topic"
    exit 1
fi
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --command-config client.properties --describe 
--all-groups 2>/dev/null |grep $1|awk '{print $1}'|uniq |xargs -n 1 kafka-consumer-groups.sh --bootstrap- 
server localhost:9092 --command-config client.properties --describe --group |grep -E "GROUP|$1"
#

这确实是必要的吗?我是否忽略了apache kafka CLI shell命令中已有的一些选项?

查找所有组,然后从这些组中获取主题是获取该信息的唯一方法

标准用例是通过应用程序(group.id)查找滞后。从一个主题中查找所有应用程序(组)的延迟对用户没有什么好处,这更像是一种管理功能,因此更适合使用Burrow或其他可以聚合此类度量的延迟收集实用程序


如果用例是查找所有使用该主题的客户端地址,那么除了Cloudera SMM工具之外,我所知道的没有好的数据沿袭产品。好吧,我们只是使用AtUnity Replicate将一个主题加载了大量数据,并希望同时监视所有消费者,看看他们的表现如何,为了给消费者增加更多的资源,我在这里没有这样的选择,所以我用这个来代替。试试看Burrow,或者巡航控制是否能满足你的需求。但正如我所提到的,各个消费群体保持着自己的补偿,并且可以以不同的速率消费,所以检查它们可能并不意味着有什么特别之处