如何使用kafka python创建批处理使用者?
我已经寻找了一段时间,但是我找不到一种方法来创建一个批消费者。我找到了一个指南,但这并不是我想要达到的目标。事实上,我的目标只是消耗固定数量的记录,比如说,并处理它们(执行一些转换),然后将它们存储到数据库中。这是一个消费者参数: max_poll_records(int)–一次查询中返回的最大记录数 对poll()的单个调用。默认值:500如何使用kafka python创建批处理使用者?,python,apache-kafka,kafka-consumer-api,Python,Apache Kafka,Kafka Consumer Api,我已经寻找了一段时间,但是我找不到一种方法来创建一个批消费者。我找到了一个指南,但这并不是我想要达到的目标。事实上,我的目标只是消耗固定数量的记录,比如说,并处理它们(执行一些转换),然后将它们存储到数据库中。这是一个消费者参数: max_poll_records(int)–一次查询中返回的最大记录数 对poll()的单个调用。默认值:500 我认为kafka python可以使用最大数量的记录进行批处理消费,可能不完全是您所说的固定数量。另一个问题,在我看到的示例中,它们独立地迭代每条消息,这
我认为kafka python可以使用最大数量的记录进行批处理消费,可能不完全是您所说的固定数量。另一个问题,在我看到的示例中,它们独立地迭代每条消息,这个选项如何改变?我认为它与仅一条相同。消费者可能会在一个轮询请求中提取max_poll_记录,但在工作中,逐个处理是我能看到的最接近的事情。