elasticsearch 节拍-卡夫卡';s consumergroup metricset不';你不发送任何数据吗?
我运行ZooKeeper和单个Kafka代理,我想用MetricBeat获取指标,用ElasticSearch索引,用Kibana显示 但是,MetricBeat只能从elasticsearch 节拍-卡夫卡';s consumergroup metricset不';你不发送任何数据吗?,elasticsearch,kibana,metrics,metricbeat,elasticsearch,Kibana,Metrics,Metricbeat,我运行ZooKeeper和单个Kafka代理,我想用MetricBeat获取指标,用ElasticSearch索引,用Kibana显示 但是,MetricBeat只能从分区metricset获取数据,而不能从consumergroupmetricset获取任何数据 由于kafka模块在metricbeat.yml中定义为定期,它应该自己发送一些数据,而不仅仅是等待用户交互(f.exam.-写入主题)? 为了确保自己的安全,我尝试创建消费者组,从主题编写和消费,但consumergroupmetr
分区
metricset获取数据,而不能从consumergroup
metricset获取任何数据
由于kafka
模块在metricbeat.yml
中定义为定期,它应该自己发送一些数据,而不仅仅是等待用户交互(f.exam.-写入主题)?
为了确保自己的安全,我尝试创建消费者组,从主题编写和消费,但consumergroup
metricset仍然没有收集数据
consumergroup
在metricbeat.template.json
和metricbeat.template-es2x.json
中定义
当metricbeat.full.yml
被完全注释掉时,这是我的metricbeat.yml
kafka模块定义:
- module: kafka
metricsets: ["partition", "consumergroup"]
enabled: true
period: 10s
hosts: ["localhost:9092"]
client_id: metricbeat1
retries: 3
backoff: 250ms
topics: []
在MetricBeat的/logs
目录中,会出现如下行:
INFO Non-zero metrics in the last 30s:
libbeat.es.published_and_acked_events=109
libbeat.es.publish.write_bytes=88050
libbeat.publisher.messages_in_worker_queues=109
libbeat.es.call_count.PublishEvents=5
fetches.kafka-partition.events=106
fetches.kafka-consumergroup.success=2
libbeat.publisher.published_events=109
libbeat.es.publish.read_bytes=2701
fetches.kafka-partition.success=2
fetches.zookeeper-mntr.events=3
fetches.zookeeper-mntr.success=3
使用ZooKeeper的mntr
和Kafka的partition
,我可以看到events=
和success=
值,但是对于consumergroup
只有success
。看起来没有触发任何事件
partition
和mntr
数据在Kibana中正确可见,而consumergroup
缺失
ElasticSearch中存储的数据肉眼无法读取,有一些用于目录名的内部字符串,日志不包含任何有用信息
有谁能帮助我了解发生了什么,并修复它(可能是MetricBeat)以向ElasticSearch发送数据?谢谢:)您需要有一个活跃的消费者在主题之外消费,才能为
消费者组
metricset生成事件。MEA也有同样的问题,因为这是一个非常老的问题,我不记得了-但我认为有活跃的消费者。我将结束这个问题,因为我选择了不同的监控。