Hadoop 阻水槽剂

我有一个要求，我想运行Flume代理，将假脱机目录作为源。当spool目录中的所有文件被复制到HDFS（sink）后，我希望代理停止，因为我知道所有文件都被推送到通道。 此外，我希望每次对不同的假脱机目录运行此步骤，并在目录中的所有文件都标记为.COMPLETED时停止代理。

---

有没有办法停止flume agent？

目前，我建议您在运行flume agent时打开flume agent终端。然后在此终端上执行ctrl+c，代理将消失。

2种停止Flume代理的方法：

转到Flume agent正在运行的终端，按ctrl+C强制杀死该agent

从任何终端运行jps并查找“应用程序”进程。记下它的进程id，然后运行kill-9终止进程

---

打开另一个复制会话窗口，然后使用下面的命令

ps–ef |格雷普水槽

取出进程id，并使用下面的命令终止

kill-9进程标识

---

这对我有用

这不是flumeOk的用例。可能我可以降低一个级别。让我向你们解释一下我想要实现的目标。我有一个ETL过程。当用户给出输入目录时，我首先使用put命令将其复制到HDFS，然后在其上运行MapReduce作业。我尝试的是探索是否有比使用put命令更有效的方法将数据推送到HDFS。因此，我尝试探索flume来实现这一点。但问题是，每次假脱机目录都会根据用户的需要更改从不同的目录加载数据。这是否适合水槽的使用情况？如果不适合，是否有其他组件可用于此操作？