Apache kafka 如何配置kafka connect file pulse以连续读取文本文件？

我已经正确配置了FilePulse，因此当我在reading文件夹中创建文件时，它会在主题中读取并接收该文件

现在我需要连续读取该文件夹中的每个文件，因为它们会不断更新

我必须更改属性文件的任何属性吗

My filePulseTxtFile.properties:

name=connect-file-pulse-txt
connector.class=io.streamthoughts.kafka.connect.filepulse.source.FilePulseSourceConnector
topic=lineas-fichero
tasks.max=1

 File types
fs.scan.filters=io.streamthoughts.kafka.connect.filepulse.scanner.local.filter.RegexFileListFilter
file.filter.regex.pattern=.*\\.log$
task.reader.class=io.streamthoughts.kafka.connect.filepulse.reader.RowFileInputReader

 File scanning
fs.cleanup.policy.class=io.streamthoughts.kafka.connect.filepulse.clean.LogCleanupPolicy
fs.scanner.class=io.streamthoughts.kafka.connect.filepulse.scanner.local.LocalFSDirectoryWalker

fs.scan.directory.path=/home/ec2-user/parser/scanDirKafka
fs.scan.interval.ms=10000

 Internal Reporting
internal.kafka.reporter.bootstrap.servers=localhost:9092
internal.kafka.reporter.id=connect-file-pulse-txt
internal.kafka.reporter.topic=connect-file-pulse-status

 Track file by name
offset.strategy=name

---

非常感谢

连续读取仅受支持，您可以使用

read.max.wait.ms

属性配置该属性-点击文件结尾后等待更多字节的最长时间（以毫秒为单位）。

例如，如果将该属性配置为

10000

，则读取器将等待10秒钟，等待向文件中添加新行，然后再考虑是否已完成

另外，您应该注意，只要存在任务处理文件，就不会选择添加到源目录的新文件。但是，您可以配置

allow.tasks.reconfiguration.after.timeout.ms

以强制在给定时间段后重新启动所有任务，以便安排新文件

---

最后，您必须注意正确设置

max.tasks

属性，以便可以并行处理所有文件（一个任务一次只能处理一个文件）。

如果您想真正

跟踪日志文件，我建议使用Filebeat或Fluentd之类的工具，否则，请使用旋转日志编写器，然后将文件移动到一个新的名称（每小时/天），在那里它们确实会被读取，但文档中说可以选择连续读取。另一件事是知道如何做。你可能会得到一个更直接的答案与泰克，同时我在看文件位文档