Apache nifi Nifi更新记录处理器问题

Apache nifi Nifi更新记录处理器问题,apache-nifi,Apache Nifi,我们在下面使用nifi作为ETL应用程序,在使用UpdateRecord处理器时遇到了一个问题。当我们开始在Nifi中处理属性级别时,例如,流过去是 List File-> Fetch File ->SpliText -> ExtractText -> UpdateAttribute -> AttributestoCSV -> CSVtoORC -> MergeContent ->PutHDFS 在这种方法中,我们可以灵活地使用nifi表达式语言

我们在下面使用nifi作为ETL应用程序,在使用UpdateRecord处理器时遇到了一个问题。当我们开始在Nifi中处理属性级别时,例如,流过去是

List File-> Fetch File ->SpliText -> ExtractText -> UpdateAttribute -> AttributestoCSV -> CSVtoORC -> MergeContent ->PutHDFS
在这种方法中,我们可以灵活地使用nifi表达式语言,但该模板的性能不佳,主要原因是合并内容的速度非常慢。 然后,我们转而使用UpdateRecord直接更新内容,而不拆分记录,也不使用属性进行更新

现在的问题是,在UpdateRecord处理器中,如果我必须使用nifi表达式语言,而不是DSL(功能有限),它会产生两个问题:

  • 我无法创建派生字段,因为
    ${field.value}
    接受现有列并仅写入现有列

  • ${field.value}
    只考虑一个列,比如如果我需要连接两个我不能使用表达式语言的列,我将不得不切换到DSL这为我创建了多个更新记录,我不习惯引用性能。


  • 请引导我完成此操作。

    AttributeToCSV->先合并。我不明白为什么合并内容很慢。即使我也不明白。最好每个问题讨论一个问题。。。您是在询问mergeContent还是UpdateRecord?对于所选案例,请提供更多信息参数、您想要实现的目标、实际结果等。您能否在此分享更多关于目标的信息?如果记录路径API存在阻碍您前进的限制,那么它们可能是几个月后加入1.12.0的好候选。此外,如果你想比通常允许的更深入、更对话,你可以在邮件列表上找到我们。@daggett。我只想提到我的模板的历史。当前的问题是UpdateRecord。如果我必须使用nifi表达式语言,那么我不能同时使用两个以上的字段。AttributeToCSV->Merge first。我不明白为什么合并内容很慢。即使我也不明白。最好每个问题讨论一个问题。。。您是在询问mergeContent还是UpdateRecord?对于所选案例,请提供更多信息参数、您想要实现的目标、实际结果等。您能否在此分享更多关于目标的信息?如果记录路径API存在阻碍您前进的限制,那么它们可能是几个月后加入1.12.0的好候选。此外,如果你想比通常允许的更深入、更对话,你可以在邮件列表上找到我们。@daggett。我只想提到我的模板的历史。当前的问题是UpdateRecord。如果我必须使用nifi表达式语言,那么我不能同时使用两个以上的字段。