Mapreduce 如何使用Sql查询的结果触发hadoop工作流?

Mapreduce 如何使用Sql查询的结果触发hadoop工作流?,mapreduce,apache-pig,sqoop,oozie,Mapreduce,Apache Pig,Sqoop,Oozie,我在Hadoop中使用Sqoop->Pig+MR->Hive有一个复杂的工作流 一旦某个特定的Oracle表更新了日志数据(与以前ETL过程的完成有关),就会触发此流 此主要工作流由Oozie组成。我还希望在必要时使用Oozie来触发流程,因为Oozie是我所在组织中最成熟的工作流调度器 我的理想假设解决方案: 1-每X分钟运行一次并执行Sql语句的oozie作业。 根据语句的结果,作业是否触发,参数为: 2-执行主工作流的oozie作业 所以 这对Oozie有可能吗? 我应该在Oozie中实现

我在Hadoop中使用Sqoop->Pig+MR->Hive有一个复杂的工作流

一旦某个特定的Oracle表更新了日志数据(与以前ETL过程的完成有关),就会触发此流

此主要工作流由Oozie组成。我还希望在必要时使用Oozie来触发流程,因为Oozie是我所在组织中最成熟的工作流调度器

我的理想假设解决方案:

1-每X分钟运行一次并执行Sql语句的oozie作业。 根据语句的结果,作业是否触发,参数为:

2-执行主工作流的oozie作业

所以

这对Oozie有可能吗? 我应该在Oozie中实现这个吗? 您将如何实施它? 谢谢, 罗恩


ps-我使用的是CHD5.2,如果您创建了两个协调器,第一个只是读取Oracle并生成一些输出,如果您的数据在Ora中可用,那么第二个协调器的输入事件可以使用什么? 这是一种隐式触发器