Apache kafka apachenifi:验证由consumerkafka创建的流文件数据

Apache kafka apachenifi:验证由consumerkafka创建的流文件数据,apache-kafka,apache-nifi,Apache Kafka,Apache Nifi,我对NiFi还很陌生。我们已经完成了安装,可以使用卡夫卡消息。 在NiFi UI中,我使用Kafka_0_10创建了处理器。当消息发布时(不同的过程),我的处理器能够正确地拾取所需的数据/消息。 我转到“数据来源”,可以看到收到了正确的数据 但是,我想让下一个流程作为一些验证器。这将从consumekafka读取流文件并进行基本验证(用户提供的脚本应该很好) 我们如何在这里使用该处理器或哪个处理器 还有什么方法可以将flowfile输入格式转换为csv或json格式?您有几个选项。根据流文件内容

我对NiFi还很陌生。我们已经完成了安装,可以使用卡夫卡消息。 在NiFi UI中,我使用Kafka_0_10创建了处理器。当消息发布时(不同的过程),我的处理器能够正确地拾取所需的数据/消息。 我转到“数据来源”,可以看到收到了正确的数据

但是,我想让下一个流程作为一些验证器。这将从consumekafka读取流文件并进行基本验证(用户提供的脚本应该很好)

我们如何在这里使用该处理器或哪个处理器


还有什么方法可以将flowfile输入格式转换为csv或json格式?

您有几个选项。根据流文件内容格式的不同,您可以将
ValidateRecord
与配置为验证它的
*读卡器
记录读卡器控制器服务一起使用。如果您已经在Groovy/Javascript/Ruby/Python中有了这样一个脚本,
ExecuteScript
也是一个解决方案


类似地,要将流文件内容转换为CSV或JSON,请使用
ConvertRecord
处理器,以及
ScriptedReader
CSVRecordSetWriter
JsonRecordSetWriter
以正确格式输出。这些进程在内部使用apachenifi记录结构,以高性能从任意输入/输出格式进行转换。如需进一步阅读,请访问和

谢谢,我会试试这些……看起来其中一个选项应该可以解决我的问题。再次感谢……谢谢安迪的上述建议。它帮助我解决了我的问题。一些细节:1。我在Kafka处理器之后使用了ExecuteScript处理器。2.我使用定制groovy脚本读取流文件内容,并根据业务规则对其进行操作。3.ExecuteScript的输出被提供给Routeattribute处理器,因为我必须按照逻辑将它路由到不同的处理器。再次感谢。