Apache nifi NIFI:连接来自不同数据库的两个表

Apache nifi NIFI:连接来自不同数据库的两个表,apache-nifi,Apache Nifi,我有两个来自不同服务器中不同数据库的事务表。我想基于公共属性加入它们,并将结果存储在不同的数据库中 我一直在NIFI中寻找各种选项,将其作为每月运行的作业来执行 到目前为止,我一直在尝试各种选择,但似乎没有成功。例如,我使用了ExecuteSQL1&ExecuteSQL2->MergeContent->PutSQL 有人能提供相同的指针吗?NiFi并不是真的要做这样的流式连接。最好的选择是使用单个ExecuteSQL处理器在SQL查询中实现联接。正如Bryan所说,NiFi(目前)没有这样做。请

我有两个来自不同服务器中不同数据库的事务表。我想基于公共属性加入它们,并将结果存储在不同的数据库中

我一直在NIFI中寻找各种选项,将其作为每月运行的作业来执行

到目前为止,我一直在尝试各种选择,但似乎没有成功。例如,我使用了ExecuteSQL1&ExecuteSQL2->MergeContent->PutSQL


有人能提供相同的指针吗?

NiFi并不是真的要做这样的流式连接。最好的选择是使用单个ExecuteSQL处理器在SQL查询中实现联接。

正如Bryan所说,NiFi(目前)没有这样做。请看,您可以“在引擎盖下”设置多个连接,并使用其JDBC驱动程序执行Bryan描述的操作,即跨不同DBs中的表进行连接


我想添加一个可处理的处理器,它允许您使用两个不同的dcCPNoalCopyPosiver控制器服务来加入两个表,但是有很多事情要考虑,例如能够在内存中执行连接。例如,为了将维度连接到事实表,我们可以尝试将较小的表加载到内存中,然后我们可以对较大的事实表进行更多的流式连接。如果您愿意,请随时提交一个新功能Jira,我们可以在这里讨论。

无法使用ExecuteSQL执行多个DBs思想只是一个想法:同时运行sql和split记录,提取所有记录的所需属性,以某种方式等待所有记录准备就绪,按所需属性对队列排序,然后尝试合并内容或编写自定义脚本以合并