Apache kafka 卡夫卡流连接并生成副本

Apache kafka 卡夫卡流连接并生成副本,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我有两个话题: // photos {'id': 1, 'user_id': 1, 'url': 'url#1'}, {'id': 2, 'user_id': 2, 'url': 'url#2'}, {'id': 3, 'user_id': 2, 'url': 'url#3'} // users {'id': 1, 'name': 'user#1'}, {'id': 1, 'name': 'user#1'}, {'id': 1, 'name': 'user#1'} 我创建地图照片的用户 KS

我有两个话题:

// photos
{'id': 1, 'user_id': 1, 'url': 'url#1'},
{'id': 2, 'user_id': 2, 'url': 'url#2'},
{'id': 3, 'user_id': 2, 'url': 'url#3'}

// users
{'id': 1, 'name': 'user#1'},
{'id': 1, 'name': 'user#1'},
{'id': 1, 'name': 'user#1'}
我创建地图照片的用户

KStream<Integer, Photo> photo_by_user = ...

photo_by_user.to("photo_by_user")

我看到结果是重复的。为什么,以及如何避免它?

您可能会遇到已知的错误。在“flush”KTable上,KTable连接可能会产生一些重复项。请注意,这些重复项严格来说并不是错误的,因为结果是一个更新流,并且将“A”更新为“A”不会改变结果。当然不希望得到那些复制品。尝试禁用缓存——如果没有缓存,“刷新问题”将不会发生。

您可能会遇到已知的错误。在“flush”KTable上,KTable连接可能会产生一些重复项。请注意,这些重复项严格来说并不是错误的,因为结果是一个更新流,并且将“A”更新为“A”不会改变结果。当然不希望得到那些复制品。尝试禁用缓存——如果没有缓存,“刷新问题”就不会发生。

Matthias:我遇到了类似的问题,但缓存已禁用。我已经发布了关于这个问题的帖子。你对这个问题有什么见解吗?Matthias:我遇到了类似的问题,但是缓存被禁用了。我已经发布了关于这个问题的帖子。你对这个问题有什么见解吗?提前谢谢。
KTable<Integer, User> users_table = builder.table("users");
KTable<Integer, Photo> photo_by_user_table = builder.table("photo_by_user");
KStream<Integer, Result> results = users_table.join(photo_by_user_table, (a, b) -> Result.from(a, b)).toStream();

results.to("results");
{'photo_id': 1, 'user': 1, 'url': 'url#1', 'name': 'user#1'}
{'photo_id': 2, 'user': 2, 'url': 'url#2', 'name': 'user#2'}
{'photo_id': 3, 'user': 3, 'url': 'url#3', 'name': 'user#3'}
{'photo_id': 1, 'user': 1, 'url': 'url#1', 'name': 'user#1'}
{'photo_id': 2, 'user': 2, 'url': 'url#2', 'name': 'user#2'}
{'photo_id': 3, 'user': 3, 'url': 'url#3', 'name': 'user#3'}