Apache spark 如何在使用Spark结构化流时更新Kafka consumer max.request.size配置

Spark

readStream

for Kafka失败，出现以下错误：

org.apache.kafka.common.errors.RecordTooLargeException（消息 序列化时为1166569字节，大于最大值 使用max.request.size配置的请求大小 配置。）

我们如何提高

最大请求大小

代码：

val ctxdb=spark
.readStream
.格式（“卡夫卡”）
.option（“kafka.bootstrap.servers”，“ip:port”）
.选项（“订阅”、“主题”）
.选项（“起始偏移量”、“最早”）
.选项（“failOnDataLoss”、“false”）
.选项（“最大请求大小”，“15728640”）

---

我们尝试更新

选项（“max.partition.fetch.bytes”，“15728640”）

，但运气不佳。

您需要将

卡夫卡前缀添加到写入流设置中：

.option("kafka.max.request.size", "15728640")

感谢带有“kafka.”前缀的Yuval。配置选项正在传递给kafka使用者。但是，当前仍然获得相同的错误wrt消息大小，并且无法识别上述选项“WARN consumer.ConsumerConfig:提供了配置“max.request.size”，但不是已知配置。”kakfa版本：0.10.2。1@user2286963因为这是一个生产者配置。您正在使用Spark中内置的卡夫卡制作人吗？@user2286963然后您正在查找
fetch.message.max.bytes
。另外，你需要确保你的主题在代理上配置了正确的请求大小，我假设你已经设置了，因为你的制作人能够生成这些大文件。Yuval，请忽略上面的评论。我读了一个话题，给很多人写信。我用选项（“kafka.max.request.size”、“15728640”）配置了writer，它可以工作。