Apache spark Spark Structured Streaming with Kafka source，在运行查询时更改主题分区的数量

我设置了一个Spark结构化流式查询，它读取卡夫卡主题。 如果主题中的分区数在Spark查询运行时更改，Spark似乎不会注意到，并且新分区上的数据也不会被消耗

除了停止查询或重新启动查询外，还有没有其他方法可以告诉Spark检查同一主题中的新分区

编辑： 我用的是Spark 2.4.4。我从卡夫卡那里读到如下内容：

spark
      .readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", kafkaURL)
      .option("startingOffsets", "earliest")
      .option("subscribe", topic)
      .option("failOnDataLoss", value = false)
      .load()

---

经过一些处理后，我在Delta Lake表上给HDFS写信。

回答我自己的问题。Kafka消费者每隔

metadata.max.age.ms

检查一次新的分区/主题（如果订阅具有模式的主题），其默认值为

300000

（5分钟）

因为我的测试持续时间远远少于这个，所以我不会注意到更新。对于测试，通过设置

DataStreamReader

的以下选项，将该值减小到较小值，例如100 ms：

.option("kafka.metadata.max.age.ms", 100)

---

Spark的版本是什么？你能展示你用来访问卡夫卡的代码吗？您所描述的内容应该得到开箱即用的支持。