Apache kafka Kafka Connect是否重新读取整个文件以进行KSQLDB调试,或者KSQLDB是否有可能在创建查询后插入所有事件?

Apache kafka Kafka Connect是否重新读取整个文件以进行KSQLDB调试,或者KSQLDB是否有可能在创建查询后插入所有事件?,apache-kafka,apache-kafka-connect,ksqldb,Apache Kafka,Apache Kafka Connect,Ksqldb,我开始与KSQLDB和Kafka connect一起开发。卡夫卡连接非常棒,一切都很好,如果它检测到过去已经读取了记录,就不会重新读取记录(对生产非常有用)。但是,为了开发和调试KSQLDB查询,有必要重播数据,因为KSQLDB将在发出更改时动态创建表项。如果没有重放任何内容,则“测试”查询将保持为空。首次插入csv文件后,如何使用kafka connect重播该文件,有何建议?也许,ksqldb有可能在创建表后重新阅读整个主题。是否有人为初学者提供了答案?使用其他名称创建源连接器,或为CSV文

我开始与KSQLDB和Kafka connect一起开发。卡夫卡连接非常棒,一切都很好,如果它检测到过去已经读取了记录,就不会重新读取记录(对生产非常有用)。但是,为了开发和调试KSQLDB查询,有必要重播数据,因为KSQLDB将在发出更改时动态创建表项。如果没有重放任何内容,则“测试”查询将保持为空。首次插入csv文件后,如何使用kafka connect重播该文件,有何建议?也许,ksqldb有可能在创建表后重新阅读整个主题。是否有人为初学者提供了答案?

使用其他名称创建源连接器,或为CSV文件指定一个新名称。两者都会导致重新读取。

我的配置文件中也有问题,ksqldb无法识别该文件

SET 'auto.offset.reset'='earliest';

选择权。使用上面的命令,注意',强制ksqldb在创建表/流命令后从头开始重新读取整个主题。每次通过ksql cli或客户端连接时都必须手动设置。

这解决了我的问题,ty。但是,只有重命名kafka connect任务的name属性才会触发重新插入。重命名这些文件不会有任何结果。