Apache spark Livy rest API调用是如何工作的?

Apache spark Livy rest API调用是如何工作的?,apache-spark,livy,Apache Spark,Livy,我正在开始使用ApacheLivy,我能够跟踪在线文档,并且能够通过Curl提交spark作业。我的计划是试用curl,然后将该curl转换为来自Scala的restapi调用。然而,在花了一整天的时间研究如何将Livy curl call转换为REST之后,我觉得我的理解是错误的 我正在从Cloudera进行检查,我发现我们必须创建一个LivyClient实例,并从中将应用程序代码上传到Spark上下文。正确的方法是什么?我有一个需要从云触发spark作业的用例,我是否需要像Cloudera示

我正在开始使用ApacheLivy,我能够跟踪在线文档,并且能够通过Curl提交spark作业。我的计划是试用curl,然后将该curl转换为来自Scala的restapi调用。然而,在花了一整天的时间研究如何将Livy curl call转换为REST之后,我觉得我的理解是错误的


我正在从Cloudera进行检查,我发现我们必须创建一个LivyClient实例,并从中将应用程序代码上传到Spark上下文。正确的方法是什么?我有一个需要从云触发spark作业的用例,我是否需要像Cloudera示例中提到的那样将依赖项放在云上并使用uploadJar添加它

与Livy服务器交互有两个选项

使用Livy客户端,可以更轻松地与Livy服务器交互。 有一些RESTAPI是公开的,可以通过编程方式使用。 请查看以下链接