Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/apache/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用ApacheNIFI查询RESTAPI?_Apache_Rest_Bigdata_Apache Nifi - Fatal编程技术网

如何使用ApacheNIFI查询RESTAPI?

如何使用ApacheNIFI查询RESTAPI?,apache,rest,bigdata,apache-nifi,Apache,Rest,Bigdata,Apache Nifi,对于一个项目,我需要开发一个ETL过程(提取转换负载),该过程从一个(遗留)工具中读取数据,该工具在RESTAPI上公开其数据。这些数据需要存储在AmazonS3中 我真的很想在ApacheNIFI上尝试一下,但老实说,我还不知道如何连接RESTAPI,以及在哪里/如何实现一些业务逻辑,以便与源系统“讨论正确的协议”。例如,我喜欢跟踪到目前为止已经写入了哪些数据,以便它可以在离开的地方继续加载 到目前为止,我一直在阅读nifi文档,我对该工具提供/包含的内容有了更好的了解。但是,如何在nifi体

对于一个项目,我需要开发一个ETL过程(提取转换负载),该过程从一个(遗留)工具中读取数据,该工具在RESTAPI上公开其数据。这些数据需要存储在AmazonS3中

我真的很想在ApacheNIFI上尝试一下,但老实说,我还不知道如何连接RESTAPI,以及在哪里/如何实现一些业务逻辑,以便与源系统“讨论正确的协议”。例如,我喜欢跟踪到目前为止已经写入了哪些数据,以便它可以在离开的地方继续加载

到目前为止,我一直在阅读nifi文档,我对该工具提供/包含的内容有了更好的了解。但是,如何在nifi体系结构中实现该任务还不清楚

希望有人能给我一些指导

谢谢,
Paul

步骤1:添加侦听HTTP处理器

步骤2:配置

步骤3:确保您有一个上下文路径和侦听器端口

步骤4:连接其他组件。例如,put文件处理器。因此,RESTAPI中的数据可以存储在文件中。那就跑吧

步骤5:使用POST将数据卷曲到REST端点处理器可用于查询REST API

下面是一个简单的流程

  • 每10分钟查询一次RESTAPI
  • 设置输出文件名(
    exchangerates.json
  • 将查询响应存储在本地文件系统的输出文件中(在
    /tmp/data out
    下)
  • 我将流导出为NiFi模板并存储在中。模板可以按原样运行