合流Kafka Python库为批量消息配置生成器
我需要设置卡夫卡生产者发送一批500 msg不是由味精味精,而是批量进口味精。我检查并尝试了合流Kafka Python库为批量消息配置生成器,python,apache-kafka,kafka-producer-api,confluent-platform,Python,Apache Kafka,Kafka Producer Api,Confluent Platform,我需要设置卡夫卡生产者发送一批500 msg不是由味精味精,而是批量进口味精。我检查并尝试了producer.send_messages(主题,*message) 但它失败了,出现了错误: > producer.send_messages('event_connector_mt', *load_entries) E AttributeError: 'cimpl.Producer' object has no attribute 'send_messages' 我也
producer.send_messages(主题,*message)
但它失败了,出现了错误:
> producer.send_messages('event_connector_mt', *load_entries)
E AttributeError: 'cimpl.Producer' object has no attribute 'send_messages'
我也试着通过考试
producer.product(主题,*消息)
在以下情况下失败:
producer.produce('event_connector_mt', *load_entries)
E TypeError: function takes at most 8 arguments (501 given)
E KafkaException: KafkaError{code=_INVALID_ARG,val=-186,str="No such configuration property: "producer.type""}
因此,我挖掘了更多信息,发现我必须在producer配置中将类型设置为async,并将batch.size设置为大于默认值,但当我尝试配置时,如:
from confluent_kafka import Consumer, Producer
producer = Producer(**{'bootstrap.servers': KAFKA_BROKERS,
'queue.buffering.max.messages': 1000000,
'batch.num.messages': 500,
'batch.size': 19999,
'producer.type': 'async'
})
在以下情况下失败:
producer.produce('event_connector_mt', *load_entries)
E TypeError: function takes at most 8 arguments (501 given)
E KafkaException: KafkaError{code=_INVALID_ARG,val=-186,str="No such configuration property: "producer.type""}
batch.size的错误相同
您能告诉我在哪里以及如何设置异步和批量大小,或者以任何其他方式将批量MSG传递给Kafka 0.9.3.1吗?默认情况下,所有生产者都是异步的。基础librdkafka库的配置不支持Producer.type和batch.size
因此,请使用可用的配置batch.num.messages或message.max.bytes 默认情况下,所有生产者都是异步的。基础librdkafka库的配置不支持Producer.type和batch.size
因此,请使用可用的配置batch.num.messages或message.max.bytes 您正在混合名为“Confluent kafka python”的融合python客户端 使用“kafka python”客户端
这是两个具有不同API的不同客户端。您正在混合名为“Confluent kafka python”的融合python客户端 使用“kafka python”客户端 这是两个具有不同API的不同客户端