Apache flink 如何在ApacheFlink中将不断增长的hdfs目录用作流媒体源

我们有一个时间分区的hdfs目录，它一直在增长。是否有任何方法可以使用apache flink将此目录作为流使用？

flink可以监视目录并在文件移动到该目录时接收文件；也许这就是你要找的。请参见文档中的。

你好，David。我们有一个嵌套的目录结构，它有多个层。这里的问题是，上面的目录包含大量的文件（按小时分区），这不适用于readfile的PROCESS\u选项。我想知道是否有任何方法可以一致地向数据源添加/删除每小时一次的目录？谢谢。我想你可能会发现动态创建一个新的（批处理）作业来吸收每小时的内容更简单。谢谢你的建议，David