Apache flink 如何获得Flink和xFF1F中KafkaSource的吞吐量;

Apache flink 如何获得Flink和xFF1F中KafkaSource的吞吐量;,apache-flink,Apache Flink,我想知道KafkaSource的吞吐量。换句话说,我想测量flink读取数据的速度。我的想法是在源代码之后添加一个map操作符,并使用map操作符中的内置度量。这会增加开销吗?我希望在不增加大量开销的情况下获得此指标。我该怎么办?或者在卡夫卡中有没有一种方法可以获得这个主题的输出吞吐量?或者我应该通过REST API获得KafkaSource的NumberRoutPerSecond吗?看看其中显示了许多与Kafka相关的指标。它是一个用于管理卡夫卡的工具,并充当实时仪表板。您需要单独安装和配置它

我想知道KafkaSource的吞吐量。换句话说,我想测量flink读取数据的速度。我的想法是在源代码之后添加一个map操作符,并使用map操作符中的内置度量。这会增加开销吗?我希望在不增加大量开销的情况下获得此指标。我该怎么办?或者在卡夫卡中有没有一种方法可以获得这个主题的输出吞吐量?或者我应该通过REST API获得KafkaSource的NumberRoutPerSecond吗?

看看其中显示了许多与Kafka相关的指标。它是一个用于管理卡夫卡的工具,并充当实时仪表板。您需要单独安装和配置它

这可用于检查Flink消费者的消费率


您还可以使用source operator上的内置metrics publisher,而无需仅为此目的使用地图。

如@shriyog所述,您在flink中拥有任何源(不仅仅是kafka)的现成指标。这里有解释:所以理论上你不必写任何代码,你只需要设置监控。@shriyog,但我发现kafka manager中的主题度量没有每秒传出的消息,只有每秒传入的消息。“我想/秒不谈这个话题。@Arthur,当我使用REST API时,我在哪里可以知道应该在
/jobs//vertices//subtask/metrics
中的
/code>中输入的值?它变得很复杂:首先查询/jobs,它会给出作业ID列表。然后查询jobs/并从中获得每个job的顶点列表。我从来没有这样做过,我所做的是建立influxdb&grafana,我让flink发布到influxdb。