Python 使用kafka平衡消费者重写逻辑,改为使用kafka连接接收器

Python 使用kafka平衡消费者重写逻辑,改为使用kafka连接接收器,python,python-3.x,apache-kafka,apache-kafka-connect,confluent-platform,Python,Python 3.x,Apache Kafka,Apache Kafka Connect,Confluent Platform,我有一些使用pykafka用Python编写的应用程序逻辑,它是这样做的: consumer = self.get_balanced_consumer() while True: msg = consumer.consume(block=False) if not msg: break self._work(msg) consumer.commit_offsets() 使用Kafka Con

我有一些使用pykafka用Python编写的应用程序逻辑,它是这样做的:

    consumer = self.get_balanced_consumer()
    while True:
        msg = consumer.consume(block=False)
        if not msg:
            break
        self._work(msg)
        consumer.commit_offsets()

使用Kafka Connect API的等效逻辑是什么?

Kafka Connect是一种将数据从主题接收到位置(数据库、文件系统)或从数据存储到主题的源数据的工具。您是否希望从主题中获取数据并将其保存在某个位置?@franzke是的,在本例中,_work()方法正在将消息写入自定义数据库。而您的自定义数据库不在这里@板球是肯定的。我认为基本上我需要实现我自己的连接器,类似于列表中的连接器。