Hadoop NiFi如何从NiFi流查询内容存储库
我有一个用例,需要使用另一个流中的FlowFile 据我所知,所有流文件都保存到内容存储库中 例如,我的第一个流从DB读取数据,执行一些转换并将其放入Hive 我的第二个流需要获取这些转换后的流文件,并将它们放到另一个地方或执行一些过滤,等等Hadoop NiFi如何从NiFi流查询内容存储库,hadoop,apache-nifi,hortonworks-data-platform,flow,hortonworks-dataflow,Hadoop,Apache Nifi,Hortonworks Data Platform,Flow,Hortonworks Dataflow,我有一个用例,需要使用另一个流中的FlowFile 据我所知,所有流文件都保存到内容存储库中 例如,我的第一个流从DB读取数据,执行一些转换并将其放入Hive 我的第二个流需要获取这些转换后的流文件,并将它们放到另一个地方或执行一些过滤,等等 如何从NiFi flow中的content repo获取这些流文件 您搞错了,流文件的内容保存到内容存储库中。 使用这些流文件不需要查询内容存储库。。我假设您使用的是PutHiveQL,因此只需在下一个流中使用success关系即可 示例:ExecuteS
如何从NiFi flow中的content repo获取这些流文件 您搞错了,流文件的内容保存到内容存储库中。 使用这些流文件不需要查询内容存储库。。我假设您使用的是
PutHiveQL
,因此只需在下一个流中使用success
关系即可
示例:ExecuteSQL
->(成功)transformprocessgroup
->(输出)PutHiveQL->(成功)->下一个流
大概是这样的:
您搞错了,流文件的内容被保存到内容存储库中。 使用这些流文件不需要查询内容存储库。。我假设您使用的是
PutHiveQL
,因此只需在下一个流中使用success
关系即可
示例:ExecuteSQL
->(成功)transformprocessgroup
->(输出)PutHiveQL->(成功)->下一个流
大概是这样的:
谢谢,但是如果我想在执行第一个流的一天后在另一个流中使用“转换”的结果,该怎么办?我不想再次重新执行第一个流…您可以使用
ExecuteScript
惩罚这些流文件一天,或者只计划下一个流的第一个处理器每天运行一次。我的意思是,我的第一个流不知道它的流文件可能会在另一个流中使用。流没有连接。所以,这意味着,我无法从内容存储库获取流文件并使用它们?这将非常困难。为什么不以某种方式将这两个流连接起来?您不必直接这样做,您可以使用第三方,如Kafka,谢谢,但如果我想在执行第一个流的一天后在另一个流中使用“转换”的结果,该怎么办?我不想再次重新执行第一个流…您可以使用ExecuteScript
惩罚这些流文件一天,或者只计划下一个流的第一个处理器每天运行一次。我的意思是,我的第一个流不知道它的流文件可能会在另一个流中使用。流没有连接。所以,这意味着,我无法从内容存储库获取流文件并使用它们?这将非常困难。为什么不以某种方式将这两个流连接起来?你不必直接这么做,你可以使用第三方,比如卡夫卡