Apache nifi 如何使用ApacheNIFI将CSV转换为JSON?
如何使用Apache Nifi将CSV转换为JSON?Apache nifi 如何使用ApacheNIFI将CSV转换为JSON?,apache-nifi,Apache Nifi,如何使用Apache Nifi将CSV转换为JSON? 我有一个CSV文件,我需要转换成json。如何绘制正常流程图。请告诉我属性和图形详细信息。 我的理解是4街区到那里。1.GenerateFLow 2.ConverttoAvro 3.Converttojson 4.Savethefile。我是Nifi的新手,我已经安装了Nifi,正在努力配置 "model","speed","mileage" "audi",4,2 "benz",4,10 "bmw",7,4 "jaguar",7,22 我
我有一个CSV文件,我需要转换成json。如何绘制正常流程图。请告诉我属性和图形详细信息。 我的理解是4街区到那里。1.GenerateFLow 2.ConverttoAvro 3.Converttojson 4.Savethefile。我是Nifi的新手,我已经安装了Nifi,正在努力配置
"model","speed","mileage"
"audi",4,2
"benz",4,10
"bmw",7,4
"jaguar",7,22
我的Json
[
{
"model": "audi",
"speed": 4,
"mileage": 2
},
{
"model": "benz",
"speed": 4,
"mileage": 10
},
{
"model": "bmw",
"speed": 7,
"mileage": 4
},
{
"model": "jaguar",
"speed": 7,
"mileage": 22
}
]
我经历了您在讨论中描述的方法是
旧的
(如果您使用的是NiFi-1.2之前的版本,则需要遵循)
从开始引入面向记录的处理器
- 对于您的情况,请使用
处理器并配置/启用记录读取器(CSVReader)/Writer(JsonSetWriter)控制器服务ConvertRecord
- 然后NiFiConvertRecord处理器读取传入的
数据,并以CSV
格式写入输出流文件JSON
convertCsvtoJson
的分步过程
从NiFi-1.2版本开始
流程:
NiFi-1.2版本之前的流程:
您可以创建将CSV转换为JSON的python脚本。然后添加一个“ExecuteScript”处理器,以使用流运行此脚本。Python脚本应该能够读取流,将CVS转换为JSON,然后将JSON返回到流中。
如果您不喜欢Python,也可以使用不同的编程语言。只需一个查询如何上传输入文件。我们是否需要在转换之前获取文件(步骤2)@user1464878,是的,您可以使用GetFile(或)ListFile+FetchFile
处理器从本地获取输入文件。非常好。提供的链接解决了我的需要。谢谢
1.GenerateFlowFile
2.ConvertRecord
3.SaveFile (Using PutFile/PutHDFS)
1.GenerateFlowFile
2.InferAvroSchema
3.ConvertCSVToAvro
4.ConvertAvroToJSON