Apache nifi Nifi:如何在Nifi中同步两个目录

Apache nifi Nifi:如何在Nifi中同步两个目录,apache-nifi,Apache Nifi,我必须在一个目录中写入响应流文件,而不是从中获取数据更改它,然后将其放入另一个目录中我想使这两个目录同步(我的意思是,每当我删除或更改一个目录中的流文件时,它也应该在其他目录中更改)我有超过10000个流文件,所以chechlist不是一个好的解决方案。你能告诉我: 有什么能帮我做这个的控制器服务吗 有没有更好的方法可以在没有控制器服务的情况下完成此任务 您可以结合使用ListFile、FetchFile和PutFile处理器来检测文件系统目录中的单个文件写入更改,并将其内容复制到另一个目录。但

我必须在一个目录中写入响应流文件,而不是从中获取数据更改它,然后将其放入另一个目录中我想使这两个目录同步(我的意思是,每当我删除或更改一个目录中的流文件时,它也应该在其他目录中更改)我有超过10000个流文件,所以chechlist不是一个好的解决方案。你能告诉我:

  • 有什么能帮我做这个的控制器服务吗
  • 有没有更好的方法可以在没有控制器服务的情况下完成此任务

  • 您可以结合使用
    ListFile
    FetchFile
    PutFile
    处理器来检测文件系统目录中的单个文件写入更改,并将其内容复制到另一个目录。但是,这不会检测到文件删除,因此我认为更好的解决方案是在
    ExecuteProcess
    处理器中使用
    rsync


    就我所知,
    rsync
    在HDFS文件系统上不起作用,因此在这种情况下,我建议使用or之类的工具(我没有特别评估这些工具)。您可以通过
    ExecuteProcess
    从“命令行”调用它们,也可以在
    ExecuteScript
    或自定义处理器中包装客户端库

    我可以在nifi中使用rsync吗?我的意思是,我可以创建工作流以便rsync捕获hdfs目录中的更改吗?或者我可以在自定义处理器中实现它吗?我的意思是,如果我编写自定义进程,我可以为本地目录实现rsync吗?