Java 如何管理flume代理之间的并发性。

我正在从事大数据项目。我们使用flume将文件从sftp下载到HDFS。 然后，我们配置了3个代理。他们从同一个来源阅读。因此，我们将3个重复文件放入HDFS，这是不好的。然而，我们必须只有一个文件。然而，我们需要为处理过的文件保持可跟踪性，并管理代理之间的并发性。例如，我们有3种主剂A1、A2和A3。如果代理A2正在处理或正在处理文件xxx.csv。其他人将不处理它，而是查找未处理的文件。因此，每个文件只能由一个代理处理

---

是否有人从事过类似的工作

您可以使用一个源和三个汇

您使用哪种类型的源？