Apache nifi Nifi导入大型数据文件

Apache nifi Nifi导入大型数据文件,apache-nifi,Apache Nifi,我对nifi还很陌生。我们想从FTP服务器下载csv文件并插入HDFS。 我使用getSFTP和putHDFS处理器处理了一个小测试文件 现在,我们希望使用第一个实际数据文件(大约15Gb),以及稍后的日期文件(可能在200-500GB范围内)。对于可以接收的文件的大小是否有任何限制?如果有,如何克服这些限制 事先非常感谢尺码没有限制。但是,您的NiFi workers的内容存储库应该足够大,可以同时包含此类文件 在任何其他术语中,NiFi设计用于移动大型文件 大小没有限制。但是,您的NiFi

我对nifi还很陌生。我们想从FTP服务器下载csv文件并插入HDFS。
我使用getSFTP和putHDFS处理器处理了一个小测试文件
现在,我们希望使用第一个实际数据文件(大约15Gb),以及稍后的日期文件(可能在200-500GB范围内)。对于可以接收的文件的大小是否有任何限制?如果有,如何克服这些限制

事先非常感谢

尺码没有限制。但是,您的NiFi workers的内容存储库应该足够大,可以同时包含此类文件


在任何其他术语中,NiFi设计用于移动大型文件

大小没有限制。但是,您的NiFi workers的内容存储库应该足够大,可以同时包含此类文件


在任何其他术语中,NiFi设计用于移动大型文件

非常感谢你的回复。请您进一步解释一下“NiFi工作人员的内容存储库应足够大,以便一次包含此类文件”是否意味着要处理15G csv文件,应在NiFi.properties中将以下值设置为15G:-NiFi.content.claim.max.appendable.size,并将500G csv文件的大小增加到500G?否,我只是统计了一个显而易见的事实:包含csv的文件系统至少需要能够包含500gb(但显然应该更大)。如果您愿意,我写了一篇关于它的短文,非常感谢您的回复。请您进一步解释一下“NiFi工作人员的内容存储库应足够大,以便一次包含此类文件”是否意味着要处理15G csv文件,应在NiFi.properties中将以下值设置为15G:-NiFi.content.claim.max.appendable.size,并将500G csv文件的大小增加到500G?否,我只是统计了一个显而易见的事实:包含csv的文件系统至少需要能够包含500gb(但显然应该更大)