Falcon、hadoop核心概念

Falcon、hadoop核心概念,hadoop,falcon,Hadoop,Falcon,我是一个相当偏向前端的开发人员,所以一些后端奇怪的概念有时让我很难理解,特别是在js世界之外(我知道node,express后端) 我必须为falcon-hadoop开发一个前端,UI应该允许创建一个新的提要。应允许用户定义流程工作流,用户必须在创建提要或流程之前定义或创建至少一个集群 这些是我收到的一些请求 我的问题是: 提要实体的行为是否类似于文档或对象?比方说类似于json对象 集群是否只是执行不同任务的不同地方?(我指的是hadoop,猎鹰式的生活方式) 流程实体只是要在提要实体中执行的

我是一个相当偏向前端的开发人员,所以一些后端奇怪的概念有时让我很难理解,特别是在js世界之外(我知道node,express后端)

我必须为falcon-hadoop开发一个前端,UI应该允许创建一个新的提要。应允许用户定义流程工作流,用户必须在创建提要或流程之前定义或创建至少一个集群

这些是我收到的一些请求

我的问题是:

提要实体的行为是否类似于文档或对象?比方说类似于json对象

集群是否只是执行不同任务的不同地方?(我指的是hadoop,猎鹰式的生活方式)

流程实体只是要在提要实体中执行的任务的生命周期

而集群实体,仅仅是一组独立的任务吗

我知道有一个RESTAPI可以与后端通信,这足以管理提要、集群等吗?还是有限制

编辑

对于ysr的回答,我想补充一点,随着时间的推移,我有了更精确的理解

实体(提要、流程、集群)是以xml格式定义、提交和获取的,这里是实体规范

REST API是一个安全的应用程序,您可以使用它来管理实体的生命周期


从前端的角度来看,我不需要知道更多。Falcon基本上使用三种类型的实体

1.集群2.提要3.流程

集群-基本上包含系统范围的属性,如hdfs端点、作业跟踪器端点、纱线端点(如果您正在使用纱线)、oozie端点、activemq端点

提要-与数据相关。提要定义包含数据路径、数据可用性频率、保留和复制详细信息等信息

流程-与以特定频率运行的作业相关。一个进程将消耗一个或多个提要并生成另一个提要。流程定义将包含诸如作业运行频率、它将使用的输入范围、它将生成的输出、工作流定义路径等信息

Falcon包含足够的RESTAPI与服务器通信。目前没有此类限制。如果您发现任何变化,我们(猎鹰开发人员)将非常乐意纳入您的变化