Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka KSQL:在KSQL服务器重新启动后丢失Kstream数据_Apache Kafka_Confluent Platform_Ksqldb - Fatal编程技术网

Apache kafka KSQL:在KSQL服务器重新启动后丢失Kstream数据

Apache kafka KSQL:在KSQL服务器重新启动后丢失Kstream数据,apache-kafka,confluent-platform,ksqldb,Apache Kafka,Confluent Platform,Ksqldb,我使用查询“Create stream base_stream with(kafka topic=“myTopic”,format=“avro”)创建了一个流。这个主题有超过800GB的数据,并且不断增长 问题: 卡夫卡是否在新的流中复制了基础主题的数据?或者它只是相同的数据 当KSQL服务器重新启动时,基本\u流丢失了其数据。是否有任何方法保存此数据?因为,如果每次KSQL服务器重新启动时必须重新同步/重新创建基本\u流,这可能需要很多小时 我知道可以从“基本流”创建持久流,但是,我们将在两个

我使用查询“Create stream base_stream with(kafka topic=“myTopic”,format=“avro”)创建了一个流。这个主题有超过800GB的数据,并且不断增长

问题:

  • 卡夫卡是否在新的流中复制了基础主题的数据?或者它只是相同的数据

  • 当KSQL服务器重新启动时,基本\u流丢失了其数据。是否有任何方法保存此数据?因为,如果每次KSQL服务器重新启动时必须重新同步/重新创建基本\u流,这可能需要很多小时

  • 我知道可以从“基本流”创建持久流,但是,我们将在两个流中复制数据

  • 感谢您的回复,谢谢

    我知道可以从“基本流”创建持久流,但是,我们将在两个流中复制数据

    存储很便宜。我见过很多TB大的主题。如果您能够随着时间的推移发出聚合窗口以减小大小,则可以对该主题启用压缩和保留策略

    KSQL服务器重新启动时,base_流丢失了其数据。是否有任何方法来保存此数据


    您在现有主题上创建了一个流。流维护的真实数据没有需要恢复或丢失的,这回答了问题1

    非常感谢您的回答!很高兴知道流不维护自己的数据,而是使用基础主题数据。即使是持久流也不保留自己的数据?这是一个尝试吗创建“基本流”并立即创建持久流的想法(使用select查询选择所有数据)在这个“基本流”上,这样我们就可以随时对此运行查询,而不是在KSQL服务器重新启动时等待“基本流”重新同步?
    CREATE stream
    是一个持久流,不确定您的其他意思。select查询不是持久的。没有什么可“重新同步”的