Apache nifi 将本地文件与从S3下载的文件持续组合
我有一个Nifi流,从Apache nifi 将本地文件与从S3下载的文件持续组合,apache-nifi,Apache Nifi,我有一个Nifi流,从S3获取文件。一对文件通过S3获取,然后传递到MergeContent处理器。接下来,每对文件都需要一个自述文件 此自述文件始终相同,我已将其存储在本地。我有一个ExecuteStreamCommand,它从MergeContent处理器接收内容 我已尝试使用ListFile/FetchFile组合将README文件传递到MergeContent处理器中,但它没有按预期工作。我想我要寻找的最终结果是一个MergeContent包,其中包含一对从S3+自述文件下载的文件。我想
S3
获取文件。一对文件通过S3
获取,然后传递到MergeContent
处理器。接下来,每对文件都需要一个自述文件
此自述文件始终相同,我已将其存储在本地。我有一个ExecuteStreamCommand
,它从MergeContent
处理器接收内容
我已尝试使用ListFile
/FetchFile
组合将README
文件传递到MergeContent
处理器中,但它没有按预期工作。我想我要寻找的最终结果是一个MergeContent
包,其中包含一对从S3
+自述文件下载的文件。我想在这种情况下,您会希望对自述文件使用GetFile
——路径是静态的,您可以将Keep Source File
设置设置为true
,以便不断检索相同的内容
ListFile
/FetchFile
可能不起作用,因为一旦ListFile
从目录检索文件名,它将时间戳存储在其本地状态,并且不会检索比下一次执行时早的文件