Apache kafka 从Kafka Connect FileStreamSourceTask读取许多文件
我正在阅读卡夫卡的1个日志文件,并创建一个主题。这是成功的。为了阅读此文件,我正在为此目的编辑文件config/connect-file-source.properties,并根据Kafka Quickstart()的步骤7进行编辑 但是,现在,我想读很多文件。在文件config/connect-file-source.properties中,我用一种模式编辑了变量文件,例如: file=/etc/logs/archive.log* 因为我想读取目录日志的所有文件,模式为archive*.log。但是,这条线不行Apache kafka 从Kafka Connect FileStreamSourceTask读取许多文件,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我正在阅读卡夫卡的1个日志文件,并创建一个主题。这是成功的。为了阅读此文件,我正在为此目的编辑文件config/connect-file-source.properties,并根据Kafka Quickstart()的步骤7进行编辑 但是,现在,我想读很多文件。在文件config/connect-file-source.properties中,我用一种模式编辑了变量文件,例如: file=/etc/logs/archive.log* 因为我想读取目录日志的所有文件,模式为archive*.log
使用文件config/connect-file-source.properties实现模式文件读取的最佳形式是什么?在
config/connect-file-source.properties
中
源类是FileStreamSource
,它将任务类用作
它使用FileInputStream
读取文件,因此不能同时打开多个文件。(通过传递目录名或正则表达式模式..)
您应该实现自己的
源
&源任务
类,或者使用支持此功能的现有类,例如配置/connect file Source.properties中的
源类是FileStreamSource
,它将任务类用作
它使用FileInputStream
读取文件,因此不能同时打开多个文件。(通过传递目录名或正则表达式模式..)
您应该实现自己的Source
和SourceTask
类,或者使用支持此功能的现有类,例如谢谢@Geunho的回答。但是,如果我没有机会开发呢?我的意思是,我只有访问日志路径的权限来读取文件并将其传递给卡夫卡(或其他选项?)另一个将许多文件流式传输到卡夫卡的替代连接器:谢谢@Geunho的回答。但是,如果我没有机会开发呢?我的意思是,我只有访问日志路径的权限来读取文件并将其传递给Kafka(或其他选项?)另一个用于将许多文件流式传输到Kafka的替代连接器: