Apache nifi 如何使用ApacheNIFI将CSV转换为JSON?

Apache nifi 如何使用ApacheNIFI将CSV转换为JSON?,apache-nifi,Apache Nifi,如何使用Apache Nifi将CSV转换为JSON? 我有一个CSV文件,我需要转换成json。如何绘制正常流程图。请告诉我属性和图形详细信息。 我的理解是4街区到那里。1.GenerateFLow 2.ConverttoAvro 3.Converttojson 4.Savethefile。我是Nifi的新手,我已经安装了Nifi,正在努力配置 "model","speed","mileage" "audi",4,2 "benz",4,10 "bmw",7,4 "jaguar",7,22 我

如何使用Apache Nifi将CSV转换为JSON?
我有一个CSV文件,我需要转换成json。如何绘制正常流程图。请告诉我属性和图形详细信息。 我的理解是4街区到那里。1.GenerateFLow 2.ConverttoAvro 3.Converttojson 4.Savethefile。我是Nifi的新手,我已经安装了Nifi,正在努力配置

"model","speed","mileage"
"audi",4,2
"benz",4,10
"bmw",7,4
"jaguar",7,22
我的Json

[
  {
    "model": "audi",
    "speed": 4,
    "mileage": 2
  },
  {
    "model": "benz",
    "speed": 4,
    "mileage": 10
  },
  {
    "model": "bmw",
    "speed": 7,
    "mileage": 4
  },
  {
    "model": "jaguar",
    "speed": 7,
    "mileage": 22
  }
]

我经历了

您在讨论中描述的方法是
旧的
(如果您使用的是NiFi-1.2之前的版本,则需要遵循)

开始引入
面向记录的处理器

  • 对于您的情况,请使用
    ConvertRecord
    处理器并配置/启用记录读取器(CSVReader)/Writer(JsonSetWriter)控制器服务

  • 然后NiFiConvertRecord处理器读取传入的
    CSV
    数据,并以
    JSON
    格式写入输出流文件

请参阅链接介绍如何使用ConvertRecord processor
convertCsvtoJson
的分步过程

从NiFi-1.2版本开始
流程:

NiFi-1.2版本之前的
流程:


您可以创建将CSV转换为JSON的python脚本。然后添加一个“ExecuteScript”处理器,以使用流运行此脚本。Python脚本应该能够读取流,将CVS转换为JSON,然后将JSON返回到流中。
如果您不喜欢Python,也可以使用不同的编程语言。

只需一个查询如何上传输入文件。我们是否需要在转换之前获取文件(步骤2)@user1464878,是的,您可以使用
GetFile(或)ListFile+FetchFile
处理器从本地获取输入文件。非常好。提供的链接解决了我的需要。谢谢
1.GenerateFlowFile 
2.ConvertRecord
3.SaveFile (Using PutFile/PutHDFS)
1.GenerateFlowFile
2.InferAvroSchema
3.ConvertCSVToAvro
4.ConvertAvroToJSON