Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/kotlin/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache nifi 通过NiFi处理器传递数据_Apache Nifi - Fatal编程技术网

Apache nifi 通过NiFi处理器传递数据

Apache nifi 通过NiFi处理器传递数据,apache-nifi,Apache Nifi,我遇到过一种情况,客户处理器参与ETL管道的各个阶段: Processor\u 1->Processor\u 2->Processor\u 3 对于某些用例,处理器_3需要参考输入到处理器_1的原始数据。在流文件定义中有父引用的概念 粗略的方法是将原始数据与流文件一起从处理器_1传递到处理器_2再传递到处理器_3。下游处理器是否有引用原始数据的机制?尼尔,您的内容的对象结构是什么样的?如果需要,您能否在flowfile内容中创建一个可以访问的原始和修改版本?然后下游提取您需要的版本 或者,如果处

我遇到过一种情况,客户处理器参与ETL管道的各个阶段:

Processor\u 1->Processor\u 2->Processor\u 3

对于某些用例,处理器_3需要参考输入到处理器_1的原始数据。在流文件定义中有父引用的概念


粗略的方法是将原始数据与流文件一起从处理器_1传递到处理器_2再传递到处理器_3。下游处理器是否有引用原始数据的机制?

尼尔,您的内容的对象结构是什么样的?如果需要,您能否在flowfile内容中创建一个可以访问的原始和修改版本?然后下游提取您需要的版本

或者,如果处理器3需要,您可以将原始内容填充到属性中并引用它们

可能有一种NIFI方法可以做到这一点,但不确定会是什么(可能会写入NIFI缓存?)


--尼尔,你的内容的对象结构是什么样的?如果需要,您能否在flowfile内容中创建一个可以访问的原始和修改版本?然后下游提取您需要的版本

或者,如果处理器3需要,您可以将原始内容填充到属性中并引用它们

可能有一种NIFI方法可以做到这一点,但不确定会是什么(可能会写入NIFI缓存?)


--S

您试图在下游引用的数据的性质是什么?通常,重要值作为属性提取出来,供后续处理器使用;但我想在语法失败时引用原始消息。您试图在下游引用的数据的性质是什么?通常,重要值作为属性提取出来,供后续处理器使用;但我想在语法失败时引用原始消息。内容是UTF-8编码的消息流。当我在下游处理器(比如处理器3)中遇到解析错误时,我想引用原始未修改的原始流。消息中是否有任何内容可以关闭?像某种唯一的标识符?如果是这样,您可以使用PutDistributedCache,这可能是一个不错的选择。然后,您可以在需要时从缓存中检索原始内容。内容是UTF-8编码的消息流。当我在下游处理器(比如处理器3)中遇到解析错误时,我想引用原始未修改的原始流。消息中是否有任何内容可以关闭?像某种唯一的标识符?如果是这样,您可以使用PutDistributedCache,这可能是一个不错的选择。然后,您可以在需要时从缓存中检索原始内容。