Java 使用FileStreamSink连接器将Kafka数据写入二进制文件

Java 使用FileStreamSink连接器将Kafka数据写入二进制文件,java,apache-kafka,backup,apache-kafka-connect,Java,Apache Kafka,Backup,Apache Kafka Connect,我正在尝试使用FileStreamLink连接器备份Kafka数据。 我知道有更好的选择,但我的公司已经有了基于NetApp的文件备份基础架构,所以我想将Kafka数据转储到二进制文件并备份该文件 由于卡夫卡中存储的数据是加密的,因此我们没有可使用或转换的模式。 我尝试使用此设置,但似乎效果不佳: key.converter=org.apache.kafka.connect.converters.ByteArrayConverter value.converter=org.apache.kafk

我正在尝试使用FileStreamLink连接器备份Kafka数据。 我知道有更好的选择,但我的公司已经有了基于NetApp的文件备份基础架构,所以我想将Kafka数据转储到二进制文件并备份该文件

由于卡夫卡中存储的数据是加密的,因此我们没有可使用或转换的模式。 我尝试使用此设置,但似乎效果不佳: key.converter=org.apache.kafka.connect.converters.ByteArrayConverter value.converter=org.apache.kafka.connect.converters.ByteArrayConverter

你对这个案子有什么建议吗?谢谢。

请参阅我的答案

但是,从本质上讲,FileStreamSink只能写入记录的字符串值,并不用于生产,而是作为编写自己的接收器连接器的示例,这将要求您实现一个源连接器,将二进制数据读回主题中

如果您不想实现自己的连接器,那么您需要实现其他使用者,或者考虑将数据镜像到辅助备份Kafka群集


如其他地方所述,仅备份一个主题不会备份其配置或与该主题相关的任何消费群体

谢谢您的回答。令我惊讶的是,卡夫卡没有一个可以转储到二进制文件的连接器,因为所有的数据都是二进制格式的,卡夫卡是开源的。随意做公关;