Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/jpa/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 我遇到以下错误,我试图使用Kafka控制台生成器将一个大文件推送到Kafka_Apache Kafka - Fatal编程技术网

Apache kafka 我遇到以下错误,我试图使用Kafka控制台生成器将一个大文件推送到Kafka

Apache kafka 我遇到以下错误,我试图使用Kafka控制台生成器将一个大文件推送到Kafka,apache-kafka,Apache Kafka,kafka控制台生产者--代理列表localhost:9092--主题com-hftl2

kafka控制台生产者--代理列表localhost:9092--主题com-hftl2 [2019-12-25 16:09:24476]向主题com-hftl2发送消息时出错,密钥为null,值为20299831字节,有错误:(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.RecordTooLargeException:消息序列化时为20299919字节,大于您使用max.request.size配置配置的最大请求大小


该命令将文件的每一行视为其自己的消息


卡夫卡默认只允许最大记录大小为1MB。。。如果您真的打算发送比几MB大得多的数据,那么最推荐的模式是使用共享文件系统,如NFS或S3,然后在记录中发送文件路径,并期望消费者随后单独下载文件

您的
max.request.size
配置值是多少?