Hadoop 如何实现ApacheStorm来监视HDFS目录_Hadoop_Hdfs_Apache Storm

Hadoop 如何实现ApacheStorm来监视HDFS目录

hadoop apache-storm

Hadoop 如何实现ApacheStorm来监视HDFS目录,hadoop,hdfs,apache-storm,Hadoop,Hdfs,Apache Storm,我有一个HDFS目录，其中文件将从许多源连续复制（流式传输）如何构建用于监视HDFS目录的拓扑，即每当在该目录中创建新文件时，都应处理该文件。您希望监视HDFS文件/目录的更改看看这个问题，它指向Oozie和HBase中现有的支持：当这些工具检测到新文件时，可以将项目发送到拓扑中进行处理或者，您可以在storm中编写自己的自定义逻辑，列出并检查HDFS中是否定期添加新文件。查看Storm中的勾选元组支持

我有一个HDFS目录，其中文件将从许多源连续复制（流式传输）

如何构建用于监视HDFS目录的拓扑，即每当在该目录中创建新文件时，都应处理该文件。

您希望监视HDFS文件/目录的更改

看看这个问题，它指向Oozie和HBase中现有的支持：当这些工具检测到新文件时，可以将项目发送到拓扑中进行处理

或者，您可以在storm中编写自己的自定义逻辑，列出并检查HDFS中是否定期添加新文件。查看Storm中的勾选元组支持