Apache kafka 卡夫卡流可以代替制作人使用吗?

Apache kafka 卡夫卡流可以代替制作人使用吗?,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,带RocksDB store的Kafka Streams看起来非常适合处理现有消息,但它可以用作容错生成器吗 创建自定义处理器的想法将检查一些内存中的新事件,每10-100毫秒生成一次,并将其转发给ProcessorContext和附加存储看起来真是疯狂。有什么简单的方法吗?你不能这么做。不确定你想实现什么?不清楚你想实现什么,所以我只能假设你想让卡夫卡流容错。没有必要这样做,容错是Streams设计的一部分。RocksDB确实保留了一些数据,但这些数据都可以从源代码和内部卡夫卡主题中恢复,即使

带RocksDB store的Kafka Streams看起来非常适合处理现有消息,但它可以用作容错生成器吗


创建自定义处理器的想法将检查一些内存中的新事件,每10-100毫秒生成一次,并将其转发给ProcessorContext和附加存储看起来真是疯狂。有什么简单的方法吗?

你不能这么做。不确定你想实现什么?不清楚你想实现什么,所以我只能假设你想让卡夫卡流容错。没有必要这样做,容错是Streams设计的一部分。RocksDB确实保留了一些数据,但这些数据都可以从源代码和内部卡夫卡主题中恢复,即使您要杀死RocksDB。Kafka Streams只是对消费者和生产者的抽象。我希望在Kafka失败的情况下,在不实现保存到本地备份存储的情况下拥有容错生产者。然后,我应该按计划从备份存储中读取数据,并尝试一次又一次地向卡夫卡发送数据。这很无聊。另一方面,kafka stream具有这种开箱即用的功能,但需要源主题。您描述的不是kafka Streams的工作原理或设计目的。如果你想在当地有一个制作人,你需要使用一个
KafakProducer
和一些当地商店。