Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/jquery/75.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache nifi ApacheNIFI-通用执行流?_Apache Nifi - Fatal编程技术网

Apache nifi ApacheNIFI-通用执行流?

Apache nifi ApacheNIFI-通用执行流?,apache-nifi,Apache Nifi,我试图弄清楚以下情况是否可能: 我有数百个表需要使用相同的流,但有不同的间隔、不同的源主机名和目标? 如何建立这样一个流程?我也不知道如何使用动态主机/模式/表名 我们维护一个包含所有这些信息的表,但是如何使用NiFi执行它呢 如果我需要在多个集群(每个表都是不同的集群)上并行加载一个文件-如何实现这一点 tnx 我找到的解决方案是使用外部调度(如气流) 并使用ListenHttp处理器。 然后,您可以向该侦听器发送您希望解析的任何数据,并在流的其余部分将其用作参数/属性。解决方案之一:为每个间

我试图弄清楚以下情况是否可能:

  • 我有数百个表需要使用相同的流,但有不同的间隔、不同的源主机名和目标? 如何建立这样一个流程?我也不知道如何使用动态主机/模式/表名
  • 我们维护一个包含所有这些信息的表,但是如何使用NiFi执行它呢

  • 如果我需要在多个集群(每个表都是不同的集群)上并行加载一个文件-如何实现这一点

  • tnx

    我找到的解决方案是使用外部调度(如气流) 并使用
    ListenHttp
    处理器。
    然后,您可以向该侦听器发送您希望解析的任何数据,并在流的其余部分将其用作参数/属性。

    解决方案之一:为每个间隔/计划创建FetchFile,该文件加载json文件,其中包含要在此计划中处理的主机/表/架构数组。然后使用SplitJson为每个主机/表/模式生成单独的ff,然后使用JsonToAttributes将json值放入属性中,然后使用流文件中的参数创建主流。节点之间的负载平衡可以在任何队列中进行管理