Hadoop “的含义;Apache Oozie操作是异步的;?

Hadoop “的含义;Apache Oozie操作是异步的;?,hadoop,asynchronous,oozie,Hadoop,Asynchronous,Oozie,说ApacheOozie操作是异步的。但它也提到了检查动作状态的机制 3.2.1.2动作是异步的 由动作节点触发的所有计算/处理任务都由Oozie异步执行。对于由工作流操作触发的大多数类型的计算/处理任务,工作流作业必须等到计算/处理任务完成后才能转换到工作流中的以下节点 例外情况是作为同步操作处理的fs操作 Oozie可以通过两种不同的方式检测计算/处理任务的完成情况:回调和轮询 当Oozie启动计算/处理任务时,Oozie为该任务提供一个唯一的回调URL,该任务应调用给定的URL以通知其完成

说ApacheOozie操作是异步的。但它也提到了检查动作状态的机制

3.2.1.2动作是异步的

由动作节点触发的所有计算/处理任务都由Oozie异步执行。对于由工作流操作触发的大多数类型的计算/处理任务,工作流作业必须等到计算/处理任务完成后才能转换到工作流中的以下节点

例外情况是作为同步操作处理的fs操作

Oozie可以通过两种不同的方式检测计算/处理任务的完成情况:回调和轮询

当Oozie启动计算/处理任务时,Oozie为该任务提供一个唯一的回调URL,该任务应调用给定的URL以通知其完成

对于任务因任何原因(即暂时性网络故障)未能调用回调URL的情况,或者任务类型在完成时无法调用回调URL的情况,Oozie有一种轮询计算/处理任务以完成的机制

因此,在触发一个操作(比如MapReduce作业)之后,它将等待当前操作完成/失败,或者自动移动到下一个任务,然后发生什么。 但下一个任务是根据当前任务状态决定的

<ok to="myNextAction"/>
<error to="errorCleanup"/>

那么“操作是异步的”是什么意思呢?

Oozie为工作流中的每个操作都有主MR作业(工作流作业)和MRs。 工作流作业仅负责处理工作流(启动任务并等待完成)。操作在单独的MR中执行,这意味着它们是异步的