elasticsearch 节拍-卡夫卡';s consumergroup metricset不';你不发送任何数据吗?,elasticsearch,kibana,metrics,metricbeat,elasticsearch,Kibana,Metrics,Metricbeat" /> elasticsearch 节拍-卡夫卡';s consumergroup metricset不';你不发送任何数据吗?,elasticsearch,kibana,metrics,metricbeat,elasticsearch,Kibana,Metrics,Metricbeat" />

elasticsearch 节拍-卡夫卡';s consumergroup metricset不';你不发送任何数据吗?

elasticsearch 节拍-卡夫卡';s consumergroup metricset不';你不发送任何数据吗?,elasticsearch,kibana,metrics,metricbeat,elasticsearch,Kibana,Metrics,Metricbeat,我运行ZooKeeper和单个Kafka代理,我想用MetricBeat获取指标,用ElasticSearch索引,用Kibana显示 但是,MetricBeat只能从分区metricset获取数据,而不能从consumergroupmetricset获取任何数据 由于kafka模块在metricbeat.yml中定义为定期,它应该自己发送一些数据,而不仅仅是等待用户交互(f.exam.-写入主题)? 为了确保自己的安全,我尝试创建消费者组,从主题编写和消费,但consumergroupmetr

我运行ZooKeeper和单个Kafka代理,我想用MetricBeat获取指标,用ElasticSearch索引,用Kibana显示

但是,MetricBeat只能从
分区
metricset获取数据,而不能从
consumergroup
metricset获取任何数据

由于
kafka
模块在
metricbeat.yml
中定义为定期,它应该自己发送一些数据,而不仅仅是等待用户交互(f.exam.-写入主题)? 为了确保自己的安全,我尝试创建消费者组,从主题编写和消费,但
consumergroup
metricset仍然没有收集数据

consumergroup
metricbeat.template.json
metricbeat.template-es2x.json
中定义

metricbeat.full.yml
被完全注释掉时,这是我的
metricbeat.yml
kafka模块定义:

- module: kafka
  metricsets: ["partition", "consumergroup"]
  enabled: true
  period: 10s

  hosts: ["localhost:9092"]

  client_id: metricbeat1
  retries: 3
  backoff: 250ms

  topics: []
在MetricBeat的
/logs
目录中,会出现如下行:

INFO Non-zero metrics in the last 30s:
libbeat.es.published_and_acked_events=109
libbeat.es.publish.write_bytes=88050 
libbeat.publisher.messages_in_worker_queues=109             
libbeat.es.call_count.PublishEvents=5
fetches.kafka-partition.events=106
fetches.kafka-consumergroup.success=2
libbeat.publisher.published_events=109
libbeat.es.publish.read_bytes=2701
fetches.kafka-partition.success=2
fetches.zookeeper-mntr.events=3
fetches.zookeeper-mntr.success=3
使用ZooKeeper的
mntr
和Kafka的
partition
,我可以看到
events=
success=
值,但是对于
consumergroup
只有
success
。看起来没有触发任何事件

partition
mntr
数据在Kibana中正确可见,而
consumergroup
缺失

ElasticSearch中存储的数据肉眼无法读取,有一些用于目录名的内部字符串,日志不包含任何有用信息


有谁能帮助我了解发生了什么,并修复它(可能是MetricBeat)以向ElasticSearch发送数据?谢谢:)

您需要有一个活跃的消费者在主题之外消费,才能为
消费者组
metricset生成事件。

MEA也有同样的问题,因为这是一个非常老的问题,我不记得了-但我认为有活跃的消费者。我将结束这个问题,因为我选择了不同的监控。