Hadoop 使用hdfs接收器连接器收集kafka connect的性能指标

我们正在运行kafka connect以从kafka topic获取avro数据，并使用hdfs接收器连接器将其存储到hdfs位置。 它基本上将100条记录（这是通过flush.size进行的配置）存储到hdfs位置的单个Avro记录中。我想知道如何计算it的性能指标，比如每秒写入hdfs位置的记录或消息数、每秒写入的字节数、吞吐量和额外延迟。我们没有配置kafka control center，也没有启用jmx端口，通过该端口可以像通过jconsole一样对其进行监控。 这可以手动计算吗？如何计算 如果存在任何其他我可以使用的工具，如Jmeter，如果是，那么如何使用

---

我想计算不在系统级别的特定于应用程序的指标。

您反对启用JMX的理由是什么？管理团队没有配置，也不允许我们这样做，管理团队应该理解并接受java应用程序需要公开JMX来收集性能指标。好了，如果你自己连这些机器都没有权限，你就没办法了。我相信Jmeter是一个负载测试仪，而不是一个监控工具。您可以定期为主题运行消费组偏移量脚本并绘制该脚本，但它只会是消息数，而不是大小。我们可以根据时间戳和其大小通过生成到hdfs位置的记录数手动计算，使用MapReduce或其他方法计算hdfs记录的速度会很慢，但是欢迎你这么做