Apache kafka 卡夫卡不会在NiFi中接收大文件(30&35; x2B;mb)

Apache kafka 卡夫卡不会在NiFi中接收大文件(30&35; x2B;mb),apache-kafka,apache-nifi,Apache Kafka,Apache Nifi,我使用的是ApacheNIFI,当试图让Kafka获取一个大约30mb的文本文件而不给出错误时,PutKafka处理器拒绝获取从我的GetFile处理器发送的数据 我尝试过在PutKafka处理器中更改一些值,但没有效果。当发送一个非常小的文本文件时,同样的设置也成功了,但它没有被管道分隔 谢谢请您查看日志,看看那里是否有相关的堆栈跟踪,然后粘贴到这里。我的怀疑是,您的缓冲区大小超过了最大值,而卡夫卡本身也失败了,因此消息永远不会到达主题。例如,虽然您似乎要覆盖“max.request.si

我使用的是ApacheNIFI,当试图让Kafka获取一个大约30mb的文本文件而不给出错误时,PutKafka处理器拒绝获取从我的GetFile处理器发送的数据

我尝试过在PutKafka处理器中更改一些值,但没有效果。当发送一个非常小的文本文件时,同样的设置也成功了,但它没有被管道分隔


谢谢

请您查看日志,看看那里是否有相关的堆栈跟踪,然后粘贴到这里。我的怀疑是,您的缓冲区大小超过了最大值,而卡夫卡本身也失败了,因此消息永远不会到达主题。例如,虽然您似乎要覆盖“max.request.size”,但“buffer.memory”远小于您的请求大小。
无论如何,堆栈跟踪都会有所帮助。

您使用的是哪个版本的Apache NiFi?你能试着让缓冲区和记录大小都达到50MB吗。另外,尝试时会出现什么错误?该图像似乎不是您想要的图像。您已在第二个图像中停止putKafka处理器:S