Apache nifi Nifi为前一天合并的json文件在HDFS路径上移动文件

Apache nifi Nifi为前一天合并的json文件在HDFS路径上移动文件,apache-nifi,hortonworks-data-platform,cloudera-cdh,mapr,data-ingestion,Apache Nifi,Hortonworks Data Platform,Cloudera Cdh,Mapr,Data Ingestion,我需要将前一天处理和合并的json文件移动到新的hdfs路径中。要求递归搜索未处理的文件并移动挂起的未处理文件 路径1->/data/nifi/working/2019/10/source_2019_10_15.json---每日处理的文件合并在此路径下,并每日添加。 路径2->/data/nifi/incoming/--如果文件夹不存在,代码应该搜索,然后创建和移动文件,如果文件夹已经存在,则只移动文件 目前,我正在使用nifi流--ListHDFS->MoveHDFS,但无法实现它 我们需要

我需要将前一天处理和合并的json文件移动到新的hdfs路径中。要求递归搜索未处理的文件并移动挂起的未处理文件

路径1->/data/nifi/working/2019/10/source_2019_10_15.json---每日处理的文件合并在此路径下,并每日添加。 路径2->/data/nifi/incoming/--如果文件夹不存在,代码应该搜索,然后创建和移动文件,如果文件夹已经存在,则只移动文件

目前,我正在使用nifi流--ListHDFS->MoveHDFS,但无法实现它

我们需要帮助如何实现这一目标


谢谢您的帮助。

当前流程运行良好

listhdfs->fethchdfs->updateattribute->puthdfs

在listhdfs中,设置使用前的最小文件期限等待时间。这将允许进程递归搜索文件,并使用updateattribute将文件夹重新创建为,并将文件处理为/data/nifi/incoming/