Apache nifi 使用ApacheNIFI的oracle到oracle数据管道

在我们的项目中，我们将数据从一个数据库（oracle）加载到另一个数据库（oracle），并对其运行一些批处理级别的分析

到目前为止，它是通过pl/sql作业完成的，我们将3年的数据拉入目标数据库

我有一项任务是使用ApacheNIFI自动化流程

群集信息： 1.ApacheHadoop集群有5个节点 2.所有的软件都是开源的

我尝试创建一个流，其中我使用处理器queryDatabaseTable->putDatabaseRecord。但据我所知，queryDatabaseTable输出avro格式

我请求建议我如何转换，以及我需要什么样的处理器序列来处理增量加载/更改数据捕获。请建议。

---

提前感谢：）

配置了Avro读取器的PutDatabaseRecord将能够读取由QueryDatabaseTable生成的Avro。

配置了Avro读取器的PutDatabaseRecord将能够读取由QueryDatabaseTable生成的Avro。

嗨@bryan，我能够继续执行SQL和QueryDatabaseTable处理器。但是，这仅适用于满载。。。我还想对基于id/time列的更改记录执行相同的操作。我试图在putdatabaseRecord处理器中使用更新键选项，但不幸的是，它没有使用带有“\u”的列名。。。我的列名是R_CRE_TIME，its将其作为RCRETIME，并在db端将错误作为无效标识符抛出。请帮助如何处理它尝试将“翻译字段名”设置为falsenow获得“文本不匹配格式字符串错误”。当表相同且所有列都匹配时。。。请帮助hi@bryan，我能够继续使用executesql和querydatabasetable处理器。但是，这仅适用于满载。。。我还想对基于id/time列的更改记录执行相同的操作。我试图在putdatabaseRecord处理器中使用更新键选项，但不幸的是，它没有使用带有“\u”的列名。。。我的列名是R_CRE_TIME，its将其作为RCRETIME，并在db端将错误作为无效标识符抛出。请帮助如何处理它尝试将“翻译字段名”设置为falsenow获得“文本不匹配格式字符串错误”。当表相同且所有列都匹配时。。。好心帮忙