Apache kafka 卡夫卡的背压
我在卡夫卡遇到过这样的情况，制作人发布信息的速度比消费者消费的速度要快得多。我必须在卡夫卡实施背压实施，以便进一步消费和处理Apache kafka 卡夫卡的背压,apache-kafka,spark-streaming,backpressure,Apache Kafka,Spark Streaming,Backpressure,我在卡夫卡遇到过这样的情况，制作人发布信息的速度比消费者消费的速度要快得多。我必须在卡夫卡实施背压实施，以便进一步消费和处理 请告诉我如何在spark和普通java api中实现。Kafka在这里充当调节器。你以你想要的任何速度生产卡夫卡，扩展经纪人以适应摄取率。然后你可以随心所欲地消费；Kafka将数据持久化，并在使用者读取数据时跟踪其偏移量。您可以通过在使用者上启用.auto.commit=false禁用自动提交，并仅在使用者操作完成时提交。这样消费者的速度会很慢，但卡夫卡知道消费者处理了多
请告诉我如何在spark和普通java api中实现。Kafka在这里充当调节器。你以你想要的任何速度生产卡夫卡，扩展经纪人以适应摄取率。然后你可以随心所欲地消费；Kafka将数据持久化，并在使用者读取数据时跟踪其偏移量。您可以通过在使用者上启用.auto.commit=false禁用自动提交，并仅在使用者操作完成时提交。这样消费者的速度会很慢，但卡夫卡知道消费者处理了多少条消息，还可以使用
max.poll.interval.msmax.poll.records