Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/357.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用kafka python创建批处理使用者?_Python_Apache Kafka_Kafka Consumer Api - Fatal编程技术网

如何使用kafka python创建批处理使用者?

如何使用kafka python创建批处理使用者?,python,apache-kafka,kafka-consumer-api,Python,Apache Kafka,Kafka Consumer Api,我已经寻找了一段时间,但是我找不到一种方法来创建一个批消费者。我找到了一个指南,但这并不是我想要达到的目标。事实上,我的目标只是消耗固定数量的记录,比如说,并处理它们(执行一些转换),然后将它们存储到数据库中。这是一个消费者参数: max_poll_records(int)–一次查询中返回的最大记录数 对poll()的单个调用。默认值:500 我认为kafka python可以使用最大数量的记录进行批处理消费,可能不完全是您所说的固定数量。另一个问题,在我看到的示例中,它们独立地迭代每条消息,这

我已经寻找了一段时间,但是我找不到一种方法来创建一个批消费者。我找到了一个指南,但这并不是我想要达到的目标。事实上,我的目标只是消耗固定数量的记录,比如说,并处理它们(执行一些转换),然后将它们存储到数据库中。

这是一个消费者参数:

max_poll_records(int)–一次查询中返回的最大记录数 对poll()的单个调用。默认值:500


我认为kafka python可以使用最大数量的记录进行批处理消费,可能不完全是您所说的固定数量。

另一个问题,在我看到的示例中,它们独立地迭代每条消息,这个选项如何改变?我认为它与仅一条相同。消费者可能会在一个轮询请求中提取max_poll_记录,但在工作中,逐个处理是我能看到的最接近的事情。