Apache spark Nodejs应用程序中的apachespark实现

Apache spark Nodejs应用程序中的apachespark实现,apache-spark,apache-toree,Apache Spark,Apache Toree,我想在我的nodejs应用程序中实现apachespark 我尝试过实现Eclairjs,但在实现时遇到了一些问题。Eclairjs似乎已经死了 如果您想从节点访问spark,我建议使用 livy是一个运行spark会话并向该会话公开RESTAPI的服务 似乎已经有一个节点客户端: (我从未使用过node客户端,所以我不能说它是否有用)Eclairjs似乎已经死了 如果您想从节点访问spark,我建议使用 livy是一个运行spark会话并向该会话公开RESTAPI的服务 似乎已经有一个节点客户

我想在我的nodejs应用程序中实现apachespark


我尝试过实现Eclairjs,但在实现时遇到了一些问题。

Eclairjs似乎已经死了

如果您想从节点访问spark,我建议使用
livy是一个运行spark会话并向该会话公开RESTAPI的服务

似乎已经有一个节点客户端:

(我从未使用过node客户端,所以我不能说它是否有用)

Eclairjs似乎已经死了

如果您想从节点访问spark,我建议使用
livy是一个运行spark会话并向该会话公开RESTAPI的服务

似乎已经有一个节点客户端:

(我从来没有使用过node客户端,所以我不能说它是否有用)

到目前为止您尝试了什么?问题是什么?您可以参考此链接,因为我无法构建包@levwhat,您到目前为止尝试了什么?问题是什么?您可以参考此链接,因为我无法构建包@levLivy supports从任何类型的客户端提交spark作业,但作业本身仍需要使用受支持的spark语言之一(即java、scala、python或R)。因此,只要您乐于编写python代码片段,并使用您的节点应用程序将其提交给spark群集。。。node-livy客户端包将为您执行此操作。但是,如果我们希望以分页格式返回结果,该怎么办?解决方案是什么?是的,您必须将spark作业返回的结果存储到spark支持的一个数据库中-hbase,hive sqlLivy支持从任何类型的客户端提交spark作业,但作业本身仍需要使用受支持的spark语言之一(即java、scala、python或R)。因此,只要您乐于编写python代码片段,并使用您的节点应用程序将其提交给spark群集。。。node-livy客户端包将为您执行此操作。但是,如果我们希望以分页格式返回结果,该怎么办?解决方案是什么?是的,您必须将spark作业返回的结果存储到spark-hbase、hive sql支持的数据库之一