使用Nifi将行附加到csv

使用Nifi将行附加到csv,csv,merge,hive,apache-nifi,Csv,Merge,Hive,Apache Nifi,我们每天都有来自FTP站点的csv文件。我们需要做的是将当前csv中的新行添加到HDFS目录中当前存在的文件中。我们目前的流程是: Get SFTP处理器从站点拾取文件 更新属性根据文件名创建HDFS文件夹 “更新”属性还基于年份创建子文件夹 然后将文件转储到HDFS子文件夹中 总共大约有8个单独的目录,即销售报告、库存、人员等。对于每个文件夹,我们希望附加其中的csv文件,而不是每天都有一个新的单独文件 最好的方法是什么?我知道我需要一个csv读写器服务,但我不确定使用哪个处理器,如果有的话,

我们每天都有来自FTP站点的csv文件。我们需要做的是将当前csv中的新行添加到HDFS目录中当前存在的文件中。我们目前的流程是:

Get SFTP处理器从站点拾取文件 更新属性根据文件名创建HDFS文件夹 “更新”属性还基于年份创建子文件夹 然后将文件转储到HDFS子文件夹中 总共大约有8个单独的目录,即销售报告、库存、人员等。对于每个文件夹,我们希望附加其中的csv文件,而不是每天都有一个新的单独文件

最好的方法是什么?我知道我需要一个csv读写器服务,但我不确定使用哪个处理器,如果有的话,我需要什么类型的nifi表达式。如有任何详细答复,将不胜感激


此外,从技术上讲,生成的文件不需要是csv,只要它的格式是Hive可以识别的。

PutHDFS处理器有一个冲突解决属性,带有附加选项


附加到现有文件(如果有),否则将创建新文件。

PutHDFS处理器具有用于冲突解决的属性,并具有附加选项


附加到现有文件(如果有),否则将创建一个新文件。

感谢您的回答,Bryan。我的印象是,这个选项只是在文件名后添加字符,以避免文件名冲突。不是这样吗?它将流文件的内容附加到已经存在的内容上,但它不知道要附加的数据,它只是在现有字节后写入更多字节,因此它只对可附加的内容有意义,csv应该询问答案,Bryan。我的印象是,这个选项只是在文件名后添加字符,以避免文件名冲突。不是这样吗?它将流文件的内容附加到已经存在的内容上,但它不知道要附加的数据,它只是在现有字节之后写入更多字节,因此它只对可附加的内容有意义,csv应该是哪个