Oozie解决方案,用于执行查询并从sql&;蜂巢
我正在尝试使用oozie解决以下问题。任何关于解决方案的建议都将不胜感激 背景:我开发了一个代码,使用(oozie-Sqoop import)从SQL数据库导入数据,并进行了一些转换,将数据加载到Hive。现在,我需要在SQL和配置单元之间进行计数检查以进行协调 我有没有办法用oozie做到这一点 我正在考虑使用oozie的“sqoop eval”执行sql查询,使用“hive action”执行hive查询,但我想知道在查询执行后如何将结果返回给oozie/捕获结果Oozie解决方案,用于执行查询并从sql&;蜂巢,sql,hiveql,oozie,sqoop2,oozie-workflow,Sql,Hiveql,Oozie,Sqoop2,Oozie Workflow,我正在尝试使用oozie解决以下问题。任何关于解决方案的建议都将不胜感激 背景:我开发了一个代码,使用(oozie-Sqoop import)从SQL数据库导入数据,并进行了一些转换,将数据加载到Hive。现在,我需要在SQL和配置单元之间进行计数检查以进行协调 我有没有办法用oozie做到这一点 我正在考虑使用oozie的“sqoop eval”执行sql查询,使用“hive action”执行hive查询,但我想知道在查询执行后如何将结果返回给oozie/捕获结果 一旦结果可用,我需要在后续
一旦结果可用,我需要在后续操作中进行协调我使用py spark操作通过执行sqoop eval和Hive数据帧计数来实现它。工作正常