如何保持或检查ApacheLivy连接?

如何保持或检查ApacheLivy连接?,apache,livy,Apache,Livy,正如我们所知,创建ApacheLivy连接非常昂贵。它将创建新的应用程序并上载任务文件 我的案例是用户可以使用Java编写的WebAPI提交作业,然后我使用ApacheLivy客户端将作业提交给spark 我想保留一个或固定数量的Livy客户端实例,我可以检查客户端状态,比如连接池 如果您的工作是有限的工作单元,那么您应该使用Livy的批处理抽象,而不是会话。会话用于交互工作,例如Jupyter Notebook或Apache Zeppelin,其中用户提交一些查询,评估结果,然后提交更多。另一

正如我们所知,创建ApacheLivy连接非常昂贵。它将创建新的应用程序并上载任务文件

我的案例是用户可以使用Java编写的WebAPI提交作业,然后我使用ApacheLivy客户端将作业提交给spark


我想保留一个或固定数量的Livy客户端实例,我可以检查客户端状态,比如连接池

如果您的工作是有限的工作单元,那么您应该使用Livy的批处理抽象,而不是会话。会话用于交互工作,例如Jupyter Notebook或Apache Zeppelin,其中用户提交一些查询,评估结果,然后提交更多。另一方面,批处理与您通常使用spark submit Executive提交的内容最为相似;当作业任务完成时,它也将自行结束,并在完成后进行清理,因此不需要连接池。也就是说,连接池对于会话也没有什么意义,因为每个会话都有一个状态变量,该状态变量是在该会话中运行的过去语句中定义的,并且该状态不是也不应该被共享