Apache kafka 如何结合卡夫卡主题的输出
下面是我的用例场景,其中一个应用程序将数据推送到三个不同的卡夫卡主题(有唯一的应用程序id),输出将转到后续的队列4和队列5。我已经实现了如下所示的管道 我面临的唯一问题是如何组合主题5中特定应用程序id的所有输出。应用程序推送多个请求,每个请求在此管道中具有唯一的id。因此,对特定应用程序id的所有请求可能不按顺序进行。队列5中可能有其他应用程序id数据 在为主题5创建消费者时,是否应该为每个应用程序id使用不同的组id 如果你有任何想法,请帮助我。我正在使用kafka pythonApache kafka 如何结合卡夫卡主题的输出,apache-kafka,kafka-python,Apache Kafka,Kafka Python,下面是我的用例场景,其中一个应用程序将数据推送到三个不同的卡夫卡主题(有唯一的应用程序id),输出将转到后续的队列4和队列5。我已经实现了如下所示的管道 我面临的唯一问题是如何组合主题5中特定应用程序id的所有输出。应用程序推送多个请求,每个请求在此管道中具有唯一的id。因此,对特定应用程序id的所有请求可能不按顺序进行。队列5中可能有其他应用程序id数据 在为主题5创建消费者时,是否应该为每个应用程序id使用不同的组id 如果你有任何想法,请帮助我。我正在使用kafka python from
from kafka import KafkaConsumer, KafkaProducer
KAFKA = dict()
KAFKA['producer'] = KafkaProducer(bootstrap_servers=[server]))
for queue in ['queue 1', 'queue 2', 'queue 3', 'queue 4', 'queue 5']:
KAFKA['queue'] = KafkaConsumer(queue,
bootstrap_servers=[server],
auto_offset_reset='earliest', enable_auto_commit=True,
auto_commit_interval_ms=1000, group_id='group'+queue)
如果你只想同时阅读三个主题,那么你应该做
KafkaConsumer('1,2,3')
如果目标是有多个这样的主题链,我还建议您使用faust