Apache kafka KSQL:在KSQL服务器重新启动后丢失Kstream数据
我使用查询“Create stream base_stream with(kafka topic=“myTopic”,format=“avro”)创建了一个流。这个主题有超过800GB的数据,并且不断增长 问题:Apache kafka KSQL:在KSQL服务器重新启动后丢失Kstream数据,apache-kafka,confluent-platform,ksqldb,Apache Kafka,Confluent Platform,Ksqldb,我使用查询“Create stream base_stream with(kafka topic=“myTopic”,format=“avro”)创建了一个流。这个主题有超过800GB的数据,并且不断增长 问题: 卡夫卡是否在新的流中复制了基础主题的数据?或者它只是相同的数据 当KSQL服务器重新启动时,基本\u流丢失了其数据。是否有任何方法保存此数据?因为,如果每次KSQL服务器重新启动时必须重新同步/重新创建基本\u流,这可能需要很多小时 我知道可以从“基本流”创建持久流,但是,我们将在两个
您在现有主题上创建了一个流。流维护的真实数据没有需要恢复或丢失的,这回答了问题1非常感谢您的回答!很高兴知道流不维护自己的数据,而是使用基础主题数据。即使是持久流也不保留自己的数据?这是一个尝试吗创建“基本流”并立即创建持久流的想法(使用select查询选择所有数据)在这个“基本流”上,这样我们就可以随时对此运行查询,而不是在KSQL服务器重新启动时等待“基本流”重新同步?
CREATE stream
是一个持久流,不确定您的其他意思。select查询不是持久的。没有什么可“重新同步”的