Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 可以在卡夫卡等待两个不同的事件吗_Apache Kafka_Kafka Consumer Api - Fatal编程技术网

Apache kafka 可以在卡夫卡等待两个不同的事件吗

Apache kafka 可以在卡夫卡等待两个不同的事件吗,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我是卡夫卡的新手,我想看看它是否能取代我目前的ETL。 我的主要难点是,我需要一种等待两个不同事件的方法作为先决条件 例如: Given the topics T1, T2 and T3, When I get an event E3(E1, E2) on topic T3, Then the event E3 cannot be processed until E1 has been processed on T1 and E2 has been process on T2 我的基本需求是确

我是卡夫卡的新手,我想看看它是否能取代我目前的ETL。 我的主要难点是,我需要一种等待两个不同事件的方法作为先决条件

例如:

Given the topics T1, T2 and T3,
When I get an event E3(E1, E2) on topic T3,
Then the event E3 cannot be processed until E1 has been processed on T1 and E2 has been process on T2
我的基本需求是确保在尝试导入E3之前,已经导入了其相应的功能先决条件

我已经通读了文档,我很清楚这种先决条件并不完全适合卡夫卡哲学


我所描述的是可行的吗?如果是这样,我应该走哪条路?

您需要在自己的用户代码中对该逻辑进行编码。例如,对于通过
poll()
接收的每条记录,在处理偶数之前,您需要检查是否满足所有要求(如果不满足,您可能需要缓冲偶数,直到满足要求。暂停()/resume()可能会有所帮助)分区。整个代码很可能非常复杂。谢谢@MatthiasJ.Sax,我的另一个想法是在actor模型(如AKKA)中实现此逻辑。如果必须手动执行,至少我会有actor生态系统可依赖。您需要在自己的用户代码中对此逻辑进行编码。例如,对于通过
pol接收的每个记录l()分区。整个代码很可能非常复杂。谢谢@MatthiasJ.Sax,我的另一个想法是在actor模型(如AKKA)中实现此逻辑。如果我必须手动执行,至少我会有actor生态系统可依赖。