Amazon s3 Flink Streaming AWS S3并行读取多个文件

我是Flink的新手，我的理解是遵循API调用

StreamExecutionEnvironment.getExecutionEnvironment().readFile(format, path)

将为给定的S3存储桶路径并行读取文件

我们正在S3中存储日志文件。需求是为多个客户端请求提供服务，以读取带有时间戳的不同文件夹

对于我的用例，为了满足多个客户的请求，我正在评估使用Flink。所以我希望Flink对不同的AWS S3文件路径并行执行AWS S3读取

---

是否有可能在一个Flink作业中实现这一点。有什么建议吗？

可以找到有关S3文件系统支持的文档

您可以从不同的目录读取数据，并使用操作符将来自不同目录的所有记录合并到一个流中

还可以使用（未测试）之类的方法读取嵌套文件：

TextInputFormat format = new TextInputFormat(path);
Configuration config = new Configuration();
config.setBoolean("recursive.file.enumeration", true);
format.configure(this.config);
env.readFile(format, path);