Java Spring kafka批处理侦听器打印整个消费者记录
配置 打印整个有效载荷,获取有效载荷和消费者数据方面的任何帮助都会有所帮助 ConsumerRecord(主题=xxxxxxx,分区=2,偏移量=1512343,创建时间=1591460009853,序列化键大小=8,序列化值大小=9506789……) 日志大小太大,无法打印和分析 编辑2:可以在那个大日志中看到更多此异常 原因:org.springframework.kafka.KafkaException:排队确认时被中断我打开了一个 可以在大日志中看到更多此异常,原因是:Java Spring kafka批处理侦听器打印整个消费者记录,java,spring,apache-kafka,spring-kafka,Java,Spring,Apache Kafka,Spring Kafka,配置 打印整个有效载荷,获取有效载荷和消费者数据方面的任何帮助都会有所帮助 ConsumerRecord(主题=xxxxxxx,分区=2,偏移量=1512343,创建时间=1591460009853,序列化键大小=8,序列化值大小=9506789……) 日志大小太大,无法打印和分析 编辑2:可以在那个大日志中看到更多此异常 原因:org.springframework.kafka.KafkaException:排队确认时被中断我打开了一个 可以在大日志中看到更多此异常,原因是:org.sprin
org.springframework.kafka.KafkaException:在排队确认时中断
该错误是因为您正在使用MANUAL\u IMMEDIATE acknowledge mode
在外部线程上调用acknowledge.acknowledge()
;并且该外部线程已被中断,从而阻止了ack的排队
如果可能的话,最好在侦听器线程上调用它。
>打印整个负载
-不清楚您的意思,或者是什么软件在“打印”它。如果是您的代码,您可以修改打印的内容。Spring只在调试日志中记录整个记录。我们可以添加一个选项来防止这种情况发生,如果这是您的意思的话。确切地说是“在哪里”是否正在“打印”?这是一个错误日志,出现了一些错误,假设这可能是消息大小。是否可以编辑问题以显示日志(减去记录),以便我可以准确地看到哪个记录器需要更新吗?谢谢Russell,但我还是遇到了麻烦,为什么会出现这些问题,我喜欢不要打印的消息只是元数据对任何审核/错误都足够好修复应该在周三发布。该错误是因为您正在调用ackknowledge.acknowledge()
在一个使用手动立即确认模式的外部线程上;该外部线程已被中断,阻止了确认的排队。不幸的是,在同一线程和同一函数上确认,我正在尝试修改会话、心跳、轮询间隔,以查看在GC暂停(这是我的怀疑)的情况下是否一切正常考虑到exceptionAlso绑定自动提交以查看helpsFeature请求是否有助于只打印元数据的选项,可以帮助很少的大消息(在我的例子中是snappy压缩)大小的事件。为了避免此错误,我们可能必须处理GC暂停。当服务/处理器变好时,分区重新分配可以帮助它处理
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 1000);
props.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG, 10);
props.put(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG, 50*1024*1024);
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);