Apache flink 如何在flink上使用RateLimitor?
我想在我的Flink工作中扼杀卡夫卡的消费者 查看Flink 1.12的源代码,我发现Apache flink 如何在flink上使用RateLimitor?,apache-flink,Apache Flink,我想在我的Flink工作中扼杀卡夫卡的消费者 查看Flink 1.12的源代码,我发现FlinkConnectorRateLimiter和GuavafalinkConnectorRateLimiter。但我找不到任何东西将此限速器连接到FlinkKafkaConsumer 如何在Flink 1.12中为Kafka实施速率限制?FlinkConnectorRateLimitor可从Flink 1.12中删除的传统Kafka消费者(Flink-connector-Kafka-0.10)获得。目前的卡
FlinkConnectorRateLimiter
和GuavafalinkConnectorRateLimiter
。但我找不到任何东西将此限速器连接到FlinkKafkaConsumer
如何在Flink 1.12中为Kafka实施速率限制?
FlinkConnectorRateLimitor
可从Flink 1.12中删除的传统Kafka消费者(Flink-connector-Kafka-0.10)获得。目前的卡夫卡消费者不提供利率限制
有关讨论,请参阅此邮件列表线程--。简言之,一旦在背压和事件时间偏差下对检查点进行的改进完成后,利率限制就不再有任何吸引力,因此没有任何兴趣增加对利率限制的支持
但是,上面的邮件列表线程确实包含了一个示例,展示了如何通过扩展FlinkKafkaConsumer
来覆盖emitRecord
和emitRecordWithTimestamp
来为卡夫卡自己实施速率限制