Java 阿帕奇风暴喷口可以相互通信吗?

Java 阿帕奇风暴喷口可以相互通信吗?,java,apache-storm,Java,Apache Storm,我有一个目录,另一个进程将文件放入其中 我们当前的Storm实现读取此目录并选择最旧的文件,并打开文件的读取器。该读卡器作为一个字段保存在喷口中,因此当调用nextTuple()时,将从文件中输出一行。一旦喷口完成读取,它将关闭读卡器并打开新文件的新读卡器 为了提高吞吐量,一个想法是让多个喷口同时读取多个文件,因为这些喷口将争夺同一目录中的相同文件,是否有一种方式在喷口之间进行通信,以便它们可以协商读取哪些文件?(或者有一个总经理负责将文件分配给喷口) 目录和文件都是从HDFS存储和读取的。我认

我有一个目录,另一个进程将文件放入其中

我们当前的Storm实现读取此目录并选择最旧的文件,并打开文件的读取器。该读卡器作为一个字段保存在喷口中,因此当调用nextTuple()时,将从文件中输出一行。一旦喷口完成读取,它将关闭读卡器并打开新文件的新读卡器

为了提高吞吐量,一个想法是让多个喷口同时读取多个文件,因为这些喷口将争夺同一目录中的相同文件,是否有一种方式在喷口之间进行通信,以便它们可以协商读取哪些文件?(或者有一个总经理负责将文件分配给喷口)


目录和文件都是从HDFS存储和读取的。

我认为开箱即用的方法是无法让两个喷口一起通信的。 但是,你应该试试

有一个BaseSignalSpoot,它依靠zookeeper在风暴组件之间发送消息


希望这有帮助

创建一个可以读取的锁定文件,以决定文件是否可以读取我也有同样的问题。你最终是如何解决这个问题的?