Apache spark 每次提交批处理作业时,livy服务器都会提交jar

Apache spark 每次提交批处理作业时,livy服务器都会提交jar,apache-spark,livy,bigdata,Apache Spark,Livy,Bigdata,在使用Livy server提交Apache Spark批处理作业时,每次都会上载jar文件(包含应用程序),即。,对于每个批处理作业提交。这似乎会增加作业提交时间。是否有方法引用spark master本地目录中的jar?我不确定您是在谈论将jar文件从Livy客户端上载到Livy服务器,还是从Livy服务器上载到spark群集。如果是从Livy客户端到服务器,那么我相信将这些jar文件放在/usr/lib/Livy/repl_2.11-jars中就可以了

在使用Livy server提交Apache Spark批处理作业时,每次都会上载jar文件(包含应用程序),即。,对于每个批处理作业提交。这似乎会增加作业提交时间。是否有方法引用spark master本地目录中的jar?

我不确定您是在谈论将jar文件从Livy客户端上载到Livy服务器,还是从Livy服务器上载到spark群集。如果是从Livy客户端到服务器,那么我相信将这些jar文件放在/usr/lib/Livy/repl_2.11-jars中就可以了