Apache nifi 如何在数据转换模板中增加/更新数据

Apache nifi 如何在数据转换模板中增加/更新数据,apache-nifi,kylo,Apache Nifi,Kylo,请告诉我在数据转换模板中添加提交发布高水位线的过程,方法是将水位线值设置为高水位线,就像我们在数据摄取中所做的那样。因为我需要获取增量/更新的数据 我是通过阅读文档得到这个解决方案的,但却不知道如何实际操作。最终,我的需求是在数据转换中获得增量和新数据 如果您对此有意见,请给我回复您的模板需要从LoadHighWaterMark处理器开始。这用于将当前高水位线值放入流文件属性中。初始值为null,直到由ReleaseHighWarkMark处理器更新为止。LoadHighWaterMark处理器

请告诉我在数据转换模板中添加提交发布高水位线的过程,方法是将水位线值设置为高水位线,就像我们在数据摄取中所做的那样。因为我需要获取增量/更新的数据

我是通过阅读文档得到这个解决方案的,但却不知道如何实际操作。最终,我的需求是在数据转换中获得增量和新数据


如果您对此有意见,请给我回复

您的模板需要从LoadHighWaterMark处理器开始。这用于将当前高水位线值放入流文件属性中。初始值为null,直到由ReleaseHighWarkMark处理器更新为止。LoadHighWaterMark处理器还阻止提要执行,直到释放高水位线

然后,需要将一个ReleaseHighWaterMark处理器连接到流中的每个失败关系,并将另一个ReleaseHighWaterMark处理器连接到流中的最终成功关系。每个流文件都必须在ReleaseHighWaterMark处理器处结束,这一点很重要,因为LoadHighWaterMark处理器会阻止当前流文件的释放

ReleaseHighWaterMark处理器上的Mode属性指示是保存新的高水位线值还是保留现有值。最终成功关系的ReleaseHighWaterMark处理器应将模式设置为提交,以便保存新的高水位线值。所有故障关系的ReleaseHighWaterMark处理器应将模式设置为拒绝,以便保留现有的高水位线值

有关更多信息,请参阅Kylo文档: