Hive Oozie开始时间和提交时间延迟

Hive Oozie开始时间和提交时间延迟,hive,delay,oozie,Hive,Delay,Oozie,我正在开发一个同时具有配置单元和Java操作的工作流。我们经常注意到Java操作开始时间和作业提交时间之间有几分钟的延迟。我们在蜂巢作业中看不到这一点,这意味着蜂巢作业似乎在启动后立即提交。Java作业做的不多,因此它们在提交后几秒钟内就成功完成了,但从开始到提交之间的时间似乎很晚(4-5分钟)。我们正在使用fair scheduler,并且有足够的映射器/还原器插槽可用。但即使这是一个资源问题,蜂巢作业也应该在开始和提交之间显示延迟,但它们没有!Java作业是非常简单的作业,它们不处理任何文件

我正在开发一个同时具有配置单元和Java操作的工作流。我们经常注意到Java操作开始时间和作业提交时间之间有几分钟的延迟。我们在蜂巢作业中看不到这一点,这意味着蜂巢作业似乎在启动后立即提交。Java作业做的不多,因此它们在提交后几秒钟内就成功完成了,但从开始到提交之间的时间似乎很晚(4-5分钟)。我们正在使用fair scheduler,并且有足够的映射器/还原器插槽可用。但即使这是一个资源问题,蜂巢作业也应该在开始和提交之间显示延迟,但它们没有!Java作业是非常简单的作业,它们不处理任何文件等,基本上用于调用web服务,它们只生成一个映射器而不生成还原器。配置单元作业创建数百个映射器/还原器任务,但在启动和提交之间仍然没有延迟。我们无法理解为什么oozie没有立即提交Java作业。有什么想法吗?

Java操作中使用的jar文件有多大?可能是文件传输延迟。谢谢回复。实际上这个罐子很小。它基本上是一个类,所有依赖库都与Hadoop相关,并且它们已经在类路径中。Hadoop集群有多忙?提交java操作时是否有空映射槽?