Apache kafka 如何从kafka connect源任务中解释活动记录计数指标?
我有一个卡夫卡连接源任务连接器(jdbc postgres连接器),我可以从这个连接器查看Apache kafka 如何从kafka connect源任务中解释活动记录计数指标?,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我有一个卡夫卡连接源任务连接器(jdbc postgres连接器),我可以从这个连接器查看kafka\u connect\u source\u task\u source\u record\u active\u count\u avg指标。我注意到图表如下所示: 所以我们偶尔会看到100条记录。如果我将度量从\u avg更改为max,则步骤的大小实际上为100 不过,我不确定如何解释这些信息。这是否意味着现在(图表的末尾)有超过1100条记录尚未提交给卡夫卡,而且这些记录已经持续了数周?我想知
kafka\u connect\u source\u task\u source\u record\u active\u count\u avg
指标。我注意到图表如下所示:
所以我们偶尔会看到100条记录。如果我将度量从\u avg
更改为max
,则步骤的大小实际上为100
不过,我不确定如何解释这些信息。这是否意味着现在(图表的末尾)有超过1100条记录尚未提交给卡夫卡,而且这些记录已经持续了数周?我想知道为什么这个值没有减小。连接器位于一个非常活跃的数据库上,所以如果它总是“落后”(这个词对吗?)。但我想知道,它是否至少总是通过邮件的背面工作,或者它是否“积累”了某些由于某种原因从未提交给卡夫卡的邮件,以及这个数字是否反映了这些“卡住”的邮件
源记录活动计数
:此任务已生成但尚未完全写入卡夫卡的最新记录数
您还可以绘制正在生成的主题的偏移量,以查看它们是否遵循相同的增加步骤
另一种选择是使用Debezium而不是JDBC源代码我想知道~1000条尚未编写的消息在过去2周是否是相同的消息,或者是否只是滚动积压。如果有1000条旧的卡住的消息,这是一个问题,但是如果总是有一个积压,如果卡夫卡能够处理它们,那就好了。有办法检查吗?打印偏移量会显示此信息吗?不确定您是否能够在没有连接器进程的堆转储之类的情况下获得该信息