Apache kafka 如何在NiFi中将XDB线路协议转换为拼花地板

Apache kafka 如何在NiFi中将XDB线路协议转换为拼花地板,apache-kafka,apache-nifi,parquet,influxdb,Apache Kafka,Apache Nifi,Parquet,Influxdb,我通过一个Kafka处理器将XDB线路协议记录输入NiFi,然后合并到包含10000条记录的流文件中。现在我想把它们转换成拼花地板并存储在HDFS中,最终目标是为最终用户构建黑斑羚表。有没有一种方法可以将线路协议转换为拼花处理器可以使用的东西,或者转换为拼花文件的另一种方法 我确实找到了一个定制处理器,但是关于如何使用这个处理器的信息很少,也没有(我找到的)示例,所以我不确定它是否适合这个用例 或者,我可以使用Spark进行转换并编写拼花文件,但如果可能的话,我希望在NiFi中完成所有工作,特别

我通过一个Kafka处理器将XDB线路协议记录输入NiFi,然后合并到包含10000条记录的流文件中。现在我想把它们转换成拼花地板并存储在HDFS中,最终目标是为最终用户构建黑斑羚表。有没有一种方法可以将线路协议转换为拼花处理器可以使用的东西,或者转换为拼花文件的另一种方法

我确实找到了一个定制处理器,但是关于如何使用这个处理器的信息很少,也没有(我找到的)示例,所以我不确定它是否适合这个用例


或者,我可以使用Spark进行转换并编写拼花文件,但如果可能的话,我希望在NiFi中完成所有工作,特别是因为我也没有找到很多在Spark中进行这种转换的资源(我对Spark和NiFi都是新手).

在NiFi中,没有任何现成的东西可以理解XDB线路协议。您必须实现一些东西,将其转换为已知的格式,如JSON、Avro等,然后您可以转到Parquet,或者,如果您实现了一个ConvertRecord读卡器,那么您可以使用ConvertRecord和一个拼花书写器直接在两者之间切换。

结果表明,更简单的方法是让上游管理员将输出从Line协议切换到JSON。是的,这更容易:)