Apache kafka 从Kafka Connect FileStreamSourceTask读取许多文件

Apache kafka 从Kafka Connect FileStreamSourceTask读取许多文件,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我正在阅读卡夫卡的1个日志文件,并创建一个主题。这是成功的。为了阅读此文件,我正在为此目的编辑文件config/connect-file-source.properties,并根据Kafka Quickstart()的步骤7进行编辑 但是,现在,我想读很多文件。在文件config/connect-file-source.properties中,我用一种模式编辑了变量文件,例如: file=/etc/logs/archive.log* 因为我想读取目录日志的所有文件,模式为archive*.log

我正在阅读卡夫卡的1个日志文件,并创建一个主题。这是成功的。为了阅读此文件,我正在为此目的编辑文件config/connect-file-source.properties,并根据Kafka Quickstart()的步骤7进行编辑

但是,现在,我想读很多文件。在文件config/connect-file-source.properties中,我用一种模式编辑了变量文件,例如: file=/etc/logs/archive.log* 因为我想读取目录日志的所有文件,模式为archive*.log。但是,这条线不行


使用文件config/connect-file-source.properties实现模式文件读取的最佳形式是什么?

config/connect-file-source.properties

源类是
FileStreamSource
,它将任务类用作

它使用
FileInputStream
读取文件,因此不能同时打开多个文件。(通过传递目录名或正则表达式模式..)


您应该实现自己的
&
源任务
类,或者使用支持此功能的现有类,例如
配置/connect file Source.properties中的

源类是
FileStreamSource
,它将任务类用作

它使用
FileInputStream
读取文件,因此不能同时打开多个文件。(通过传递目录名或正则表达式模式..)


您应该实现自己的
Source
SourceTask
类,或者使用支持此功能的现有类,例如

谢谢@Geunho的回答。但是,如果我没有机会开发呢?我的意思是,我只有访问日志路径的权限来读取文件并将其传递给卡夫卡(或其他选项?)另一个将许多文件流式传输到卡夫卡的替代连接器:谢谢@Geunho的回答。但是,如果我没有机会开发呢?我的意思是,我只有访问日志路径的权限来读取文件并将其传递给Kafka(或其他选项?)另一个用于将许多文件流式传输到Kafka的替代连接器: