Java Spark Streaming tuning每个批次大小的记录数在几个批次后不工作？

我的spark流媒体应用程序正在使用DStream方法读取kafka的内容，我正在尝试使批量大小在60秒内处理36000条消息

我正在使用来自kafka主题的600个分区的消息

• spark.streaming.kafka.maxRatePerPartition=1

• spark.streaming.backpressure.enabled=true

• 创建

  StreamingContext

通过以上配置，我预计每批将获得36000条记录（600*1*60），并且它在最初的几个批中按预期工作，但在此之后，主题中的所有记录都将转储到一个批中

注意：我正在使用自动缩放群集，是否需要设置任何其他参数