Apache kafka 卡夫卡流-它如何在内部拯救国家

Apache kafka 卡夫卡流-它如何在内部拯救国家,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,互联网上有很多关于卡夫卡流使用的文章,但几乎没有关于卡夫卡流是如何在内部完成的 它是否使用标准集之外的卡夫卡内部的任何功能(让我们称“标准”为librdkafka实现) 如果它将状态保存在RocksDB(或任何自定义状态存储)中,它如何保证状态保存和提交在一个事务中 在压缩日志中保存状态(提交和更新日志应在一个事务中)的情况下也存在相同的问题 多谢各位 我在这里结合了几个线程的信息,找到了答案 它使用librdkafka(尚未)提供的事务(请参见) 它实际上并不依赖RocksDB,而是将状态更改

互联网上有很多关于卡夫卡流使用的文章,但几乎没有关于卡夫卡流是如何在内部完成的

  • 它是否使用标准集之外的卡夫卡内部的任何功能(让我们称“标准”为librdkafka实现)
  • 如果它将状态保存在RocksDB(或任何自定义状态存储)中,它如何保证状态保存和提交在一个事务中
  • 在压缩日志中保存状态(提交和更新日志应在一个事务中)的情况下也存在相同的问题

  • 多谢各位

    我在这里结合了几个线程的信息,找到了答案

  • 它使用librdkafka(尚未)提供的事务(请参见)
  • 它实际上并不依赖RocksDB,而是将状态更改保存到提交日志中(请参阅)
  • 它使用上面提到的事务进行处理