Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/292.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
合流Kafka Python库为批量消息配置生成器_Python_Apache Kafka_Kafka Producer Api_Confluent Platform - Fatal编程技术网

合流Kafka Python库为批量消息配置生成器

合流Kafka Python库为批量消息配置生成器,python,apache-kafka,kafka-producer-api,confluent-platform,Python,Apache Kafka,Kafka Producer Api,Confluent Platform,我需要设置卡夫卡生产者发送一批500 msg不是由味精味精,而是批量进口味精。我检查并尝试了producer.send_messages(主题,*message) 但它失败了,出现了错误: > producer.send_messages('event_connector_mt', *load_entries) E AttributeError: 'cimpl.Producer' object has no attribute 'send_messages' 我也

我需要设置卡夫卡生产者发送一批500 msg不是由味精味精,而是批量进口味精。我检查并尝试了
producer.send_messages(主题,*message)
但它失败了,出现了错误:

>       producer.send_messages('event_connector_mt', *load_entries)
E       AttributeError: 'cimpl.Producer' object has no attribute 'send_messages'
我也试着通过考试
producer.product(主题,*消息)
在以下情况下失败:

       producer.produce('event_connector_mt', *load_entries)
E       TypeError: function takes at most 8 arguments (501 given)
E       KafkaException: KafkaError{code=_INVALID_ARG,val=-186,str="No such configuration property: "producer.type""}
因此,我挖掘了更多信息,发现我必须在producer配置中将类型设置为async,并将batch.size设置为大于默认值,但当我尝试配置时,如:

from confluent_kafka import Consumer, Producer       

producer = Producer(**{'bootstrap.servers': KAFKA_BROKERS,
                       'queue.buffering.max.messages': 1000000,
                       'batch.num.messages': 500,
                       'batch.size': 19999,
                       'producer.type': 'async'
                       })
在以下情况下失败:

       producer.produce('event_connector_mt', *load_entries)
E       TypeError: function takes at most 8 arguments (501 given)
E       KafkaException: KafkaError{code=_INVALID_ARG,val=-186,str="No such configuration property: "producer.type""}
batch.size的错误相同
您能告诉我在哪里以及如何设置异步和批量大小,或者以任何其他方式将批量MSG传递给Kafka 0.9.3.1吗?默认情况下,所有生产者都是异步的。基础librdkafka库的配置不支持Producer.type和batch.size


因此,请使用可用的配置batch.num.messages或message.max.bytes

默认情况下,所有生产者都是异步的。基础librdkafka库的配置不支持Producer.type和batch.size


因此,请使用可用的配置batch.num.messages或message.max.bytes

您正在混合名为“Confluent kafka python”的融合python客户端

使用“kafka python”客户端


这是两个具有不同API的不同客户端。

您正在混合名为“Confluent kafka python”的融合python客户端

使用“kafka python”客户端

这是两个具有不同API的不同客户端