Apache kafka 确定apache storm中子流处理的结束_Apache Kafka_Apache Storm_Apache Storm Topology

Apache kafka 确定apache storm中子流处理的结束

apache-kafka apache-storm

Apache kafka 确定apache storm中子流处理的结束,apache-kafka,apache-storm,apache-storm-topology,Apache Kafka,Apache Storm,Apache Storm Topology,我有一个基于ApacheStorm的项目，它给出了卡夫卡主题的元组。在每个卡夫卡消息中，我都有一个从外部系统生成的id。可能我在卡夫卡中有多条具有相同id的消息。具有相似id的消息按顺序放入卡夫卡，并且没有任何间隙。我想检测storm topology已处理的具有相同id的所有邮件。我如何检测具有相同id的所有邮件都被storm处理？还应注意的是，在某些情况下，我在卡夫卡中有100K条具有相同id的消息，可能我的storm拓扑在处理这些消息期间由于某种原因崩溃

我有一个基于ApacheStorm的项目，它给出了卡夫卡主题的元组。在每个卡夫卡消息中，我都有一个从外部系统生成的id。可能我在卡夫卡中有多条具有相同id的消息。具有相似id的消息按顺序放入卡夫卡，并且没有任何间隙。我想检测storm topology已处理的具有相同id的所有邮件。我如何检测具有相同id的所有邮件都被storm处理？还应注意的是，在某些情况下，我在卡夫卡中有100K条具有相同id的消息，可能我的storm拓扑在处理这些消息期间由于某种原因崩溃