Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop NiFi如何从NiFi流查询内容存储库_Hadoop_Apache Nifi_Hortonworks Data Platform_Flow_Hortonworks Dataflow - Fatal编程技术网

Hadoop NiFi如何从NiFi流查询内容存储库

Hadoop NiFi如何从NiFi流查询内容存储库,hadoop,apache-nifi,hortonworks-data-platform,flow,hortonworks-dataflow,Hadoop,Apache Nifi,Hortonworks Data Platform,Flow,Hortonworks Dataflow,我有一个用例,需要使用另一个流中的FlowFile 据我所知,所有流文件都保存到内容存储库中 例如,我的第一个流从DB读取数据,执行一些转换并将其放入Hive 我的第二个流需要获取这些转换后的流文件,并将它们放到另一个地方或执行一些过滤,等等 如何从NiFi flow中的content repo获取这些流文件 您搞错了,流文件的内容保存到内容存储库中。 使用这些流文件不需要查询内容存储库。。我假设您使用的是PutHiveQL,因此只需在下一个流中使用success关系即可 示例:ExecuteS

我有一个用例,需要使用另一个流中的FlowFile

据我所知,所有流文件都保存到内容存储库中

例如,我的第一个流从DB读取数据,执行一些转换并将其放入Hive

我的第二个流需要获取这些转换后的流文件,并将它们放到另一个地方或执行一些过滤,等等


如何从NiFi flow中的content repo获取这些流文件

您搞错了,流文件的内容保存到内容存储库中。 使用这些流文件不需要查询内容存储库。。我假设您使用的是
PutHiveQL
,因此只需在下一个流中使用
success
关系即可

示例:
ExecuteSQL
->(成功)
transformprocessgroup
->(输出)PutHiveQL->(成功)->下一个流

大概是这样的:


您搞错了,流文件的内容被保存到内容存储库中。 使用这些流文件不需要查询内容存储库。。我假设您使用的是
PutHiveQL
,因此只需在下一个流中使用
success
关系即可

示例:
ExecuteSQL
->(成功)
transformprocessgroup
->(输出)PutHiveQL->(成功)->下一个流

大概是这样的:


谢谢,但是如果我想在执行第一个流的一天后在另一个流中使用“转换”的结果,该怎么办?我不想再次重新执行第一个流…您可以使用
ExecuteScript
惩罚这些流文件一天,或者只计划下一个流的第一个处理器每天运行一次。我的意思是,我的第一个流不知道它的流文件可能会在另一个流中使用。流没有连接。所以,这意味着,我无法从内容存储库获取流文件并使用它们?这将非常困难。为什么不以某种方式将这两个流连接起来?您不必直接这样做,您可以使用第三方,如Kafka,谢谢,但如果我想在执行第一个流的一天后在另一个流中使用“转换”的结果,该怎么办?我不想再次重新执行第一个流…您可以使用
ExecuteScript
惩罚这些流文件一天,或者只计划下一个流的第一个处理器每天运行一次。我的意思是,我的第一个流不知道它的流文件可能会在另一个流中使用。流没有连接。所以,这意味着,我无法从内容存储库获取流文件并使用它们?这将非常困难。为什么不以某种方式将这两个流连接起来?你不必直接这么做,你可以使用第三方,比如卡夫卡