Apache spark 无法设置kafka spark consumer配置

我使用spark-sql-2.4.x版本的与kafka客户端

即使在设置使用者配置参数之后 即 max.partition.fetch.bytes和max.poll.records

未正确设置，显示默认值，如下所示

Dataset<Row> df = sparkSession
                      .readStream()
                      .format("kafka")
                      .option("kafka.bootstrap.servers", server1)
                      .option("subscribe", TOPIC1) 
                      .option("includeTimestamp", true)
                      .option("startingOffsets", "latest")
                      .option("max.partition.fetch.bytes", "2097152") // default 1000,000
                      .option("max.poll.records", 6000)  // default 500
                      .option("metadata.max.age.ms", 450000) // default 300000
                      .option("failOnDataLoss", false)
                      .load();

设置此项的正确方法是什么？

来自：

卡夫卡自己的配置可以通过DataStreamReader.option进行设置 卡夫卡。前缀，例如stream.option（“kafka.bootstrap.servers”， “主机：端口”）。有关可能的卡夫卡参数，请参见 用于读取数据相关参数的文档，以及 与写入数据相关的参数的文档

我相信你需要在你的选择中加入“卡夫卡”，比如：

.option("kafka.max.poll.records", 6000) 

从：

卡夫卡自己的配置可以通过DataStreamReader.option进行设置 卡夫卡。前缀，例如stream.option（“kafka.bootstrap.servers”， “主机：端口”）。有关可能的卡夫卡参数，请参见 用于读取数据相关参数的文档，以及 与写入数据相关的参数的文档

我相信你需要在你的选择中加入“卡夫卡”，比如：

.option("kafka.max.poll.records", 6000)